Crawl-Budget

Das Crawl-Budget beschreibt, wie viele URLs der Googlebot in einem bestimmten Zeitraum auf deiner Website abruft (crawlt). Es ergibt sich aus zwei Faktoren: dem Crawl-Limit (wie viel dein Server verkraftet, ohne langsam zu werden) und der Crawl-Nachfrage (wie wichtig und aktuell Google deine Seiten einschaetzt). Crawl-Budget ist nicht dasselbe wie Indexierung: Eine gecrawlte Seite landet nicht automatisch im Index. Crawlen ist der Abruf, Indexieren der spaeter folgende Schritt.

Warum es wichtig ist

Fuer die allermeisten Websites ist Crawl-Budget kein Problem. Google sagt selbst: Seiten mit weniger als einigen tausend URLs werden in der Regel zuverlaessig und ausreichend oft gecrawlt. Relevant wird das Thema erst bei sehr grossen Sites (zehntausende URLs und mehr), bei haeufig wechselnden Inhalten oder wenn ein Server langsam reagiert. Dann kann es passieren, dass wichtige neue oder aktualisierte Seiten verspaetet oder gar nicht gecrawlt werden – und damit spaeter oder nie in den Suchergebnissen auftauchen.

Wie es in der Praxis funktioniert

Du kannst das verfuegbare Budget nicht direkt erhoehen, aber du kannst es effizienter nutzen, indem der Bot seine Zeit auf wertvolle Seiten konzentriert:

• Crawl-Muell reduzieren: Endlose Filter- und Parameter-URLs, Session-IDs oder facettierte Navigation erzeugen unzaehlige nutzlose URLs. Per robots.txt aussperren oder gar nicht erst verlinken.
• Duplicate Content vermeiden: Mit dem Canonical-Tag doppelte Versionen buendeln, damit der Bot nicht dieselbe Seite mehrfach crawlt.
• Serverleistung & Ladezeit: Antwortet dein Server schnell, erhoeht Google das Crawl-Tempo. Langsame Antworten und viele Fehlerseiten (404, 5xx) bremsen es.
• XML-Sitemap pflegen: Nur indexierbare, relevante URLs auflisten – das lenkt den Bot gezielt.
• Interne Verlinkung & flache Struktur: Wichtige Seiten mit wenigen Klicks erreichbar machen; verwaiste Seiten findet der Bot kaum.
• 301-Redirect-Ketten aufloesen: Jede Weiterleitung kostet einen zusaetzlichen Abruf.

Wichtig: noindex spart kein Crawl-Budget, denn die Seite muss erst gecrawlt werden, damit Google das Tag liest. Echtes Crawl-Sparen geht nur ueber robots.txt oder das Entfernen der Links. Den Verlauf siehst du im Crawling-Statistik-Bericht der Google Search Console.

Praxis-Bezug fuer Schweizer KMU

Eine typische KMU-Website mit 20 bis 200 Seiten hat praktisch nie ein Crawl-Budget-Problem – hier zaehlen Inhaltsqualitaet und Onpage-SEO weit mehr. Relevant wird es bei grossen E-Commerce-Shops mit vielen Filter-URLs oder bei umfangreichen Portalen. Wenn du keinen Shop mit tausenden Produktvarianten betreibst, investierst du deine Zeit besser in starke Inhalte und saubere Technik. Bei Webtree behalten wir den Crawling-Bericht trotzdem im Blick, damit der Bot bei wachsenden Seiten seine Zeit dort verbringt, wo sie zaehlt.