Crawl-Budget
Kurz erklärt: Die Anzahl an URLs, die der Googlebot innerhalb eines Zeitraums auf einer Website besucht und verarbeitet.
Detail-Definition
Für kleine Websites unter 10.000 URLs ist das Crawl-Budget meist kein Problem. Bei großen Sites entscheidet es darüber, ob neue oder aktualisierte Inhalte zeitnah indexiert werden. Faktoren: Server-Antwortzeit, Anzahl URLs, interne Verlinkung, robots.txt, fehlerhafte Seiten.
Wann ist Crawl-Budget relevant?
- Große Website mit vielen ähnlichen URLs.
- Viele Parameter-, Filter- oder Archivseiten.
- Neue Inhalte werden langsam indexiert.
Typische Fehler
- Unwichtige URLs intern stark verlinken.
- Sitemap mit nicht indexierbaren URLs füllen.
- 404-, Redirect- und Parameter-Probleme ignorieren.
Praxis-Checkliste
- Sitemap nur mit indexierbaren URLs pflegen.
- Interne Links auf wichtige Seiten konzentrieren.
- Parameter und Duplikate kontrollieren.
- Serverantwortzeiten und Statuscodes prüfen.
Warum ist das für bayerische KMU wichtig?
Crawl-Budget wird wichtig, wenn viele URLs existieren, etwa durch Standortseiten, Ratgeber, Filter oder Parameter. Wird es verschwendet, finden Suchmaschinen wichtige Inhalte langsamer.
Unsere lokale Expertise direkt anwenden:
Verwandte Begriffe
- Crawler Ein Crawler ist ein automatisiertes Programm, das Webseiten…
- robots.txt Eine Textdatei im Wurzelverzeichnis einer Website, die Such…
- Sitemap Eine Übersicht wichtiger Website-URLs, die Nutzern oder Suc…
- Duplicate Content Duplicate Content sind identische oder sehr ähnliche Inhalt…
- Indexierung Der Prozess, bei dem Google eine Webseite in seinen Suchind…