robots.txt
Die robots.txt ist eine Textdatei im Stammverzeichnis deiner Domain, die Suchmaschinen-Bots sagt, welche Bereiche sie crawlen duerfen und welche nicht.
Die robots.txt ist eine einfache Textdatei, die im Stammverzeichnis einer Domain liegt (also unter https://www.deine-domain.ch/robots.txt). Sie ist das erste, was seriöse Suchmaschinen-Bots wie der Googlebot beim Besuch einer Website abrufen. In ihr legst du über das Robots Exclusion Protocol fest, welche Pfade ein Crawler abrufen darf und welche er ignorieren soll. Wichtig zu verstehen: Die robots.txt steuert das Crawling, nicht die Indexierung – das ist ein häufiges Missverständnis.
Warum es wichtig ist
Suchmaschinen haben pro Website ein begrenztes Crawl-Budget. Mit der robots.txt lenkst du dieses Budget gezielt auf relevante Seiten und hältst Bots von unwichtigen Bereichen fern – etwa internen Suchergebnissen, Filter-URLs, Warenkörben oder Admin-Pfaden. Ausserdem weist die Datei üblicherweise auf die XML-Sitemap hin und hilft Bots so, deine Struktur schneller zu erfassen. Ein Fehler hat hier grosse Wirkung: Eine falsch gesetzte Zeile kann versehentlich die ganze Website vom Crawling ausschliessen und Rankings einbrechen lassen.
Wie es in der Praxis funktioniert
Die Datei besteht aus Regelblöcken mit User-agent (für welchen Bot) und Disallow bzw. Allow (welche Pfade). Wichtige Punkte:
- Crawling ≠ Indexierung:
Disallowverhindert nur das Abrufen. Ist eine gesperrte URL über externe Links bekannt, kann Google sie trotzdem ohne Snippet indexieren. Um eine Seite zuverlässig aus dem Index zu halten, brauchst dunoindexim<head>– die Seite darf dafür aber nicht per robots.txt blockiert sein, sonst sieht Google dasnoindexnie. - Sitemap-Verweis: Eine Zeile wie
Sitemap: https://www.deine-domain.ch/sitemap.xmlgehört in jede robots.txt. - Niemals CSS/JS sperren: Google muss diese Ressourcen laden, um Seiten korrekt zu rendern und für Mobile zu bewerten.
- Genau prüfen: Ein einzelnes
Disallow: /sperrt die komplette Domain – ein klassischer, teurer Fehler. - Kein Sicherheits-Tool: Die robots.txt ist öffentlich einsehbar und nur eine Bitte – böswillige Bots ignorieren sie.
Den korrekten Status prüfst du am einfachsten in der Google Search Console, die einen eigenen robots.txt-Bericht und Test bietet.
Praxis-Bezug für Schweizer KMU
Viele KMU-Websites schleppen eine veraltete robots.txt mit, oft noch aus der Bauphase mit einem versehentlichen Komplett-Block – ein stiller SEO-Killer, den kaum jemand bemerkt. Für ein typisches Schweizer KMU reicht meist eine schlanke Datei: alles erlauben, nur sensible Pfade sperren und die Sitemap verlinken. Bei jedem Relaunch sollte als erster Check gelten, ob die robots.txt die Live-Seite nicht aussperrt. So stellst du sicher, dass Google deine Seiten findet, bevor potenzielle Kunden bei der Konkurrenz landen.