Detail-Definition
Für kleine Websites unter 10.000 URLs ist das Crawl-Budget meist kein Problem. Bei großen Sites entscheidet es darüber, ob neue oder aktualisierte Inhalte zeitnah indexiert werden. Faktoren: Server-Antwortzeit, Anzahl URLs, interne Verlinkung, robots.txt, fehlerhafte Seiten.
Wann ist Crawl-Budget relevant?
- Große Website mit vielen ähnlichen URLs.
- Viele Parameter-, Filter- oder Archivseiten.
- Neue Inhalte werden langsam indexiert.
Typische Fehler
- Unwichtige URLs intern stark verlinken.
- Sitemap mit nicht indexierbaren URLs füllen.
- 404-, Redirect- und Parameter-Probleme ignorieren.
Praxis-Checkliste
- Sitemap nur mit indexierbaren URLs pflegen.
- Interne Links auf wichtige Seiten konzentrieren.
- Parameter und Duplikate kontrollieren.
- Serverantwortzeiten und Statuscodes prüfen.
Warum ist das für bayerische KMU wichtig?
Crawl-Budget wird wichtig, wenn viele URLs existieren, etwa durch Standortseiten, Ratgeber, Filter oder Parameter. Wird es verschwendet, finden Suchmaschinen wichtige Inhalte langsamer.
Unsere lokale Expertise direkt anwenden:
Verwandte Begriffe
- Crawler — Ein Crawler ist ein automatisiertes Programm, das Webseiten besucht, liest und Links verfolgt.
- robots.txt — Eine Textdatei im Wurzelverzeichnis einer Website, die Suchmaschinen-Crawlern mitteilt, welche Bereiche sie besuchen dürfen.
- XML-Sitemap — Eine maschinenlesbare Liste aller URLs einer Website, die Suchmaschinen helfen soll, Inhalte effizient zu finden und zu indexieren.
- Duplicate Content — Duplicate Content sind identische oder sehr ähnliche Inhalte, die unter mehreren URLs erreichbar sind.
- Indexierung — Der Prozess, bei dem Google eine Webseite in seinen Suchindex aufnimmt, damit sie in Suchergebnissen erscheinen kann.