Sitemap-Generator für Windows
Dokumentation der Software
6. Datei "robots.txt" anpassen
Eine Suchmaschine liest zuerst die Datei robots.txt im Hauptverzeichnis einer Internetseite. Der Crawler findet hier Informationen über die für ihn freigegebenen und gesperrten Seiteninhalte. Allgemeine Informationen zum Thema finden Sie beispielsweise bei SELFHTML oder Wikipedia. Für uns ist an dieser Stelle das Eintragen der XML-Sitemap in die robots.txt interessant: für jedes XML-Inhaltsverzeichnis wird eine eigene Zeile mit folgender Syntax hinzugefügt:
Sitemap: [Pfad der Sitemap]
Beispiel:
User-agent: *
Disallow: /dieses-verzeichnis-nicht-indexieren/
Sitemap: http://www.example.com/sitemap.xml
Sitemap: http://www.example.com/eventuell-weitere-sitemap.xml
Die HTML-Version "sitemap.html" wird hier nicht eingetragen. Diese ist für den menschlichen Besucher gedacht und kann beispielsweise in der Hauptnavigationsleiste verlinkt werden.