# robots.txt > Die robots.txt ist eine Textdatei im Stammverzeichnis deiner Domain, die Suchmaschinen-Bots sagt, welche Bereiche sie crawlen duerfen und welche nicht. **Quelle:** https://www.webtree.ch/lexikon/robots-txt --- Die **robots.txt** ist eine einfache Textdatei, die im **Stammverzeichnis** einer Domain liegt (also unter `https://www.deine-domain.ch/robots.txt`). Sie ist das erste, was seriöse Suchmaschinen-Bots wie der Googlebot beim Besuch einer Website abrufen. In ihr legst du über das **Robots Exclusion Protocol** fest, welche Pfade ein Crawler abrufen darf und welche er ignorieren soll. Wichtig zu verstehen: Die robots.txt steuert das **Crawling**, nicht die **Indexierung** – das ist ein häufiges Missverständnis. ## Warum es wichtig ist Suchmaschinen haben pro Website ein begrenztes **Crawl-Budget**. Mit der robots.txt lenkst du dieses Budget gezielt auf relevante Seiten und hältst Bots von unwichtigen Bereichen fern – etwa internen Suchergebnissen, Filter-URLs, Warenkörben oder Admin-Pfaden. Ausserdem weist die Datei üblicherweise auf die **XML-Sitemap** hin und hilft Bots so, deine Struktur schneller zu erfassen. Ein Fehler hat hier grosse Wirkung: Eine falsch gesetzte Zeile kann versehentlich die ganze Website vom Crawling ausschliessen und Rankings einbrechen lassen. ## Wie es in der Praxis funktioniert Die Datei besteht aus Regelblöcken mit `User-agent` (für welchen Bot) und `Disallow` bzw. `Allow` (welche Pfade). Wichtige Punkte: - **Crawling ≠ Indexierung:** `Disallow` verhindert nur das Abrufen. Ist eine gesperrte URL über externe Links bekannt, kann Google sie trotzdem ohne Snippet indexieren. Um eine Seite zuverlässig aus dem Index zu halten, brauchst du `noindex` im `` – die Seite darf dafür aber nicht per robots.txt blockiert sein, sonst sieht Google das `noindex` nie. - **Sitemap-Verweis:** Eine Zeile wie `Sitemap: https://www.deine-domain.ch/sitemap.xml` gehört in jede robots.txt. - **Niemals CSS/JS sperren:** Google muss diese Ressourcen laden, um Seiten korrekt zu rendern und für Mobile zu bewerten. - **Genau prüfen:** Ein einzelnes `Disallow: /` sperrt die komplette Domain – ein klassischer, teurer Fehler. - **Kein Sicherheits-Tool:** Die robots.txt ist öffentlich einsehbar und nur eine Bitte – böswillige Bots ignorieren sie. Den korrekten Status prüfst du am einfachsten in der **Google Search Console**, die einen eigenen robots.txt-Bericht und Test bietet. ## Praxis-Bezug für Schweizer KMU Viele KMU-Websites schleppen eine veraltete robots.txt mit, oft noch aus der Bauphase mit einem versehentlichen Komplett-Block – ein stiller SEO-Killer, den kaum jemand bemerkt. Für ein typisches Schweizer KMU reicht meist eine schlanke Datei: alles erlauben, nur sensible Pfade sperren und die Sitemap verlinken. Bei jedem Relaunch sollte als erster Check gelten, ob die robots.txt die Live-Seite nicht aussperrt. So stellst du sicher, dass Google deine Seiten findet, bevor potenzielle Kunden bei der Konkurrenz landen. --- ## Haeufige Fragen **Was ist der Unterschied zwischen robots.txt und einem noindex-Tag?** Die robots.txt steuert das Crawling, also ob ein Bot eine Seite überhaupt abruft. Das noindex-Tag steuert die Indexierung, also ob die Seite in den Suchergebnissen erscheint. Willst du eine Seite zuverlässig aus dem Index halten, nutze noindex und sperre die Seite NICHT zusätzlich per robots.txt, sonst kann Google das noindex gar nicht lesen. **Wo muss die robots.txt liegen?** Immer im Stammverzeichnis der Domain, erreichbar unter deine-domain.ch/robots.txt. In Unterordnern oder unter anderem Dateinamen wird sie von Suchmaschinen ignoriert. Pro Domain bzw. Subdomain ist genau eine robots.txt gültig. **Schützt die robots.txt sensible Daten?** Nein. Die robots.txt ist öffentlich einsehbar und nur eine Empfehlung an gutwillige Bots. Verzeichnisse darin zu listen kann sie sogar sichtbarer machen. Sensible Inhalte schützt du über Passwortschutz, Login oder serverseitige Zugriffsregeln, nicht über die robots.txt.