Office Manager Dokumentenmanagementsystem

Sitemap-Generator für Windows

Dokumentation der Software

6. Datei "robots.txt" anpassen

Eine Suchmaschine liest zuerst die Datei robots.txt im Hauptverzeichnis einer Internetseite. Der Crawler findet hier Informationen über die für ihn freigegebenen und gesperrten Seiteninhalte. Allgemeine Informationen zum Thema finden Sie beispielsweise bei SELFHTML oder Wikipedia. Für uns ist an dieser Stelle das Eintragen der XML-Sitemap in die robots.txt interessant: für jedes XML-Inhaltsverzeichnis wird eine eigene Zeile mit folgender Syntax hinzugefügt:

Sitemap: [Pfad der Sitemap]

Beispiel:

User-agent: *
Disallow: /dieses-verzeichnis-nicht-indexieren/
Sitemap: http://www.example.com/sitemap.xml
Sitemap: http://www.example.com/eventuell-weitere-sitemap.xml

Die HTML-Version "sitemap.html" wird hier nicht eingetragen. Diese ist für den menschlichen Besucher gedacht und kann beispielsweise in der Hauptnavigationsleiste verlinkt werden.