1. Was ist die robots.txt
-Datei?
Die robots.txt
-Datei ist eine einfache Textdatei, die im Stammverzeichnis Ihrer Website abgelegt wird. Sie wird von Webcrawlern (Bots) gelesen, um zu bestimmen, welche Bereiche der Website durchsucht oder ignoriert werden sollen. Durch entsprechende Anweisungen in dieser Datei können Sie verhindern, dass bestimmte Bots auf Ihre Website zugreifen.
2. Erstellen der robots.txt
-Datei
- Öffnen Sie einen Texteditor (z. B. Notepad, Sublime Text oder ein anderes Textbearbeitungsprogramm).
- Erstellen Sie eine neue Datei und speichern Sie diese unter dem Namen
robots.txt
.
3. Bots in der robots.txt
-Datei sperren
Um bestimmte Bots auszuschließen, verwenden Sie die Anweisung User-agent
gefolgt von Disallow
. Hier ist eine Beispielsdatei, die AhrefsBot, SemrushBot, BingBot und DotBot sperrt:
User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: MJ12Bot
Disallow: /
User-agent: DotBot
Disallow: /
# Optional: Alle anderen Bots dürfen auf die Website zugreifen
User-agent: *
Disallow:
Erläuterungen:
User-agent: [Bot-Name]
: Gibt den Namen des Bots an, den Sie sperren möchten.Disallow: /
: Verhindert, dass der angegebene Bot auf irgendeinen Teil der Website zugreift.User-agent: *
: Diese Anweisung erlaubt allen anderen Bots den Zugriff auf die gesamte Website, sofern keine spezifischen Einschränkungen bestehen.
Weitere Informationen zu Bots findest Du im folgenden Artikel Bad Bots und Spam Crawler.
4. Speichern und Hochladen der robots.txt
-Datei
- Speichern Sie die Datei unter dem Namen
robots.txt
. - Laden Sie die Datei in das Stammverzeichnis Ihrer Website hoch (das Verzeichnis, in dem sich auch die Startseite Ihrer Website befindet). Dies könnte der Ordner /httpdocs/shop sein.
5. Überprüfung der robots.txt
-Datei
Einige Suchmaschinen bieten auch Tools an, mit denen Sie die Syntax und Wirkung Ihrer robots.txt
-Datei testen können (z. B. die Google Search Console).
Sie können überprüfen, ob Ihre robots.txt
-Datei korrekt funktioniert, indem Sie die Datei im Browser aufrufen: https://www.ihre-website.de/robots.txt
.