SharePointCommunity
Die deutschsprachige Community für SharePoint, Microsoft 365, Teams, Yammer und mit Azure

Sponsored by

Willkommen im Forum Archiv.
Einträge sind hier nicht mehr möglich, aber der Bestand von 12 Jahren SharePoint-Wissen ist hier recherchierbar.




Ignorieren der Robots.txt beim MSS2010 Express möglich?

Unbeantwortet Dieser Beitrag hat 2 Antworten

Ohne Rang
5 Beiträge
Cruzo erstellt 28 Aug. 2012 11:34
SchlechtSchlechtIn OrdnungIn OrdnungDurchschnittDurchschnittGutGutSehr gutSehr gut

Hallo zusammen,

gibt es die Möglichkeit dem Crawler vom MS Search Server 2010 Express so zu konfigurieren, dass er die Robots.txt ignoriert?

Leider konnte ich mit dem Hauptadmin keine Lösung finden und so bleibt mir nur die Möglichkeit zu versuchen den Crawler dazuzubringen die Robots.txt zu ignorieren. Bei meinen Recherchen, habe ich zwar etwas gefunden, aber dies bezieht sich auf den FAST Server. Zu sehen hier: http://technet.microsoft.com/en-us/library/ff354932.aspx. Dort gibt es eine Variante, wie ich das ignorieren einschalten kann. Leider finde ich keine Konfigurationsdatei für den normalen SS wo ich diesen Befehl eintragen könnte.

Somit komme ich wieder zu meiner Frage, ist dies Möglich oder nicht?

Danke für das lesen des Textes :-)

Cruzo

Alle Antworten

Ohne Rang
19231 Beiträge
Andi Fandrich Als Antwort am 28 Aug. 2012 12:09
SchlechtSchlechtIn OrdnungIn OrdnungDurchschnittDurchschnittGutGutSehr gutSehr gut

Ich weiß nicht, ob es die Einstellung beim "normalen" Search Server gibt, aber man kann doch in der robots.txt einen UserAgent angeben und damit für den Crawler andere Regeln definieren. Wie der UserAgent des Crawlers lautet, kann man einfach den Webserver-Logs entnehmen.

Viele Grüße
Andi
af @ evocom de
Blog
Ohne Rang
5 Beiträge
Cruzo Als Antwort am 28 Aug. 2012 12:54
SchlechtSchlechtIn OrdnungIn OrdnungDurchschnittDurchschnittGutGutSehr gutSehr gut

Leider weigert sich da die Hauptadministration, von daher bleibt mir nur die Lösung mit dem ignorieren der Robot.txt.