Spambots sorgen in Onlineshops immer wieder für Probleme. Zum einen sorgen die Bots für unnötigen Verkehr und zum anderen werden in Extremfällen massenweise Ressourcen blockiert. Dies wiederum geht zu Lasten anderer Besucher des Onlineshops.
Glücklicherweise gibt es einiges, was man als Shopbetreiber dies bezüglich selbst unternehmen kann. Selbst wenn sich die Spambots nicht mehr durch eigene Mittel einschränken oder blockieren lassen, gibt es Möglichkeiten (kommerziell, sowie kostenlos).
Spambots im Onlineshop blockieren
Bevor man damit beginnt Bots auszusperren bzw. zu blockieren, sollte man die Logs prüfen. Finden Sie heraus, welche Bots oder Dienste, wie häufig auf Ihren Onlineshop zugreifen. Auch die Dauer der Zugriffe ist interessant.
In den meisten Fällen können Sie die Logs über die Verwaltungsoberfläche Ihres Webhosting Anbieters einsehen (z.B. mit Plesk). Steht Ihnen keine Verwaltungsoberfläche (oder Control Panel) zur Verfügung, erhalten sind über FTP Zugriff auf die Log Dateien.
Suchen Sie nach dem “Access Log”. In diesem sind alle Zugriffe aufgeführt. Wenn Sie mehrere Domains über einen Tarif verwalten, dann achten Sie darauf, dass das Log die Domainkennung trägt (z.B. domain1_access.log).
Im nächsten Schritt suchen Sie nach IP Adressen die in einem kurzen Zeitraum besonders häufig auftauchen. In einigen Fällen weisen sich Bots und Crawler auch aus. Dies sieht in der Praxis wie folgt aus:
Mozilla/5.0 (compatible; SemrushBot/0.97~bl; +http://www.semrush.com/bot.html)
Haben Sie Anhaltspunkte für den vermehrten Zugriff von Bots gefunden, so können Sie diese im Anschluss über eine robots.txt oder .htaccess Datei blockieren. Erhalten Sie sehr viele Zugriffe von Bots, die als vertrauenswürdig gelten (z.B. Bing oder Google), können Sie auch mit dem jeweiligen Dienst Kontakt aufnehmen.
Die großen Suchdienste ermöglichen es Ihnen in der Regel die Crawl Geschwindigkeit herabsetzen zu lassen. Hierzu müssen Sie sich lediglich beim jeweiligen Dienst anmelden. Anleitungen zur Herabsetzung der Crawl Geschwindigkeit sind im Internet zu finden.
Die Namen der Spambots im Überblick
Spambots und Bots die für ein sehr aggressives Crawl Verhalten bekannt sind, gibt es inzwischen wie Sand am Meer. Oft handelt es sich dabei im übrigen nicht um Suchmaschinen. Häufig sind es SEO Dienste, die für besonders viele Kopfschmerzen sorgen.
User-agent: AhrefsBot
User-agent: MJ12bot
User-agent: SEMrushBot
User-agent: SemrushBot
User-agent: SemrushBot-SA
User-agent: SEOkicks
User-agent: Mediatoolkitbot
User-agent: YandexBot
User-agent: Baiduspider
Neben diesen Bots, gibt es noch hunderte, weitere Bots. Eine Möglichkeit ist es natürlich pauschal alle der bekannten Spam Bots auszusperren. Hierzu kann man auf Listen aus dem Internet zurückgreifen. Wir haben allerdings die Erfahrung gemacht, dass die oben aufgeführten Bots am häufigsten ein Problem darstellen.
Spambots mittels robots.txt blockieren
Eine einfache Möglichkeit Spam Bots zu blockieren ist die sogenannte robots.txt. Dabei handelt es sich um eine simple Textdatei. Das Anlegen einer robots.txt Datei ist denkbar einfach. Erstellen Sie eine neue Textdatei, nennen Sie diese robots.txt und laden Sie diese in das Root Verzeichnis Ihrer Domain hoch.
Der Inhalt der Datei sieht wie folgt aus:
User-agent: SEMrushBot
Disallow: /User-agent: Mediatoolkitbot
Disallow: /User-agent: AhrefsBot
Disallow: /
Mit diesem Eintrag wird der SEMrushBot ausgesperrt. Durch die Anweisung “Disallow: /” wird festgelegt, dass kein Zugriff auf die Inhalte der Domain erfolgen soll. Anstelle des / können Sie auch bestimmte Verzeichnisse oder Dateien angeben, auf welche die Bots nicht zugreifen sollen.
Weitere Informationen zur Erstellung einer robots.txt Datei finden Sie auch in unserem Supportbereich unter dem folgenden Link.
Die Anweisungen, welche in der robots.txt stehen müssen im übrigen nicht von den Diensten und Bots berücksichtigt werden. Daher ist es möglich, dass besonders hartnäckige Bots auch trotz der Anweisungen in der Datei, weiterhin auf Ihre Domain zugreifen.
In diesem Fall gibt es noch die Möglichkeit die IP Adressen des jeweiligen Bots zu blockieren. Auch hierzu finden Sie eine Anleitung im Supportbereich. Grundsätzlich kann man durchaus sagen, dass man als Shopbetreiber einige Möglichkeiten hat. Sollte am Ende keine Besserung in Sicht sein, so bleibt noch der Einsatz anderer Methoden.
Was tun, wenn der Spambot weiterhin kommt?
Wir haben sehr gute Erfahrungen mit kommerziellen Diensten wie zum Beispiel Cloudflare gemacht. Dabei handelt es sich um ein CDN (Content Delivery Network). Der Dienst wird sowohl kostenlos, als auch kostenpflichtig angeboten. Der Vorteil von Diensten wie Cloudflare ist, dass zum einen die Last besser verteilt wird und zum anderen ein Großteil der Bots bereits seitens der Anbieter herausgefiltert wird.
Neben diesen Diensten, gibt es außerdem noch die Möglichkeit die Konfiguration des Webservers anzupassen. Auch kann man den Server (bzw. Webserver) mit speziellen Modulen ausstatten. Dies sind jedoch Möglichkeiten, die nur nutzbar sind, wenn man einen eigenen Server betreibt.
