Glossar

Was bedeutet Crawling?

Crawling (von englisch «to crawl» = kriechen) bezeichnet den Vorgang, bei dem Suchmaschinen-Bots — sogenannte Crawler oder Spider — das Internet systematisch durchsuchen. Der bekannteste Crawler ist der Googlebot, der ständig Milliarden von Webseiten besucht, analysiert und deren Inhalte für den Google-Index erfasst.

Crawling ist der erste Schritt im Prozess der Suchmaschinenoptimierung: Nur Seiten, die gecrawlt werden, können indexiert werden. Und nur indexierte Seiten können in den Suchergebnissen erscheinen.

Wie funktioniert der Googlebot?

Der Googlebot arbeitet nach einem systematischen Prozess:

1. URLs entdecken: Der Googlebot findet neue Seiten über Links auf bereits bekannten Seiten, über eingereichte Sitemaps und über die Google Search Console.
2. Priorisierung: Nicht alle Seiten werden gleich häufig gecrawlt. Google priorisiert nach Wichtigkeit, Aktualität und Crawl-Budget.
3. Seite abrufen: Der Googlebot ruft den HTML-Code der Seite ab und führt bei Bedarf auch JavaScript aus (Rendering).
4. Links folgen: Auf der gecrawlten Seite folgt der Googlebot den internen und externen Links und entdeckt so weitere Seiten.
5. Weiterleitung an den Indexer: Die gesammelten Daten werden an Googles Indexierungssystem weitergegeben.

Crawl-Budget und warum es wichtig ist

Google widmet jeder Website ein begrenztes Crawl-Budget — die Anzahl der Seiten, die der Googlebot in einem bestimmten Zeitraum crawlt. Für kleine Websites (unter 1 000 Seiten) ist das Crawl-Budget selten ein Problem. Für grössere Websites oder Online-Shops wird es relevant:

• Duplicate Content: Doppelte Inhalte verschwenden Crawl-Budget. Canonical Tags helfen, das zu vermeiden.
• Parameter-URLs: Filter- und Sortieroptionen können Tausende von URL-Varianten erzeugen. Blockieren Sie unnötige Parameter in der robots.txt.
• Ladezeit: Langsame Seiten verbrauchen mehr Crawl-Budget. Google crawlt langsame Websites weniger intensiv.
• Server-Fehler: 5xx-Fehler signalisieren dem Googlebot, das Crawling zu reduzieren.

Crawling optimieren für besseres SEO

• XML-Sitemap: Reichen Sie eine aktuelle Sitemap in der Google Search Console ein, damit Google alle wichtigen Seiten kennt.
• Robots.txt: Steuern Sie, welche Bereiche Ihrer Website gecrawlt werden sollen und welche nicht.
• Interne Verlinkung: Eine logische Seitenstruktur mit klarer interner Verlinkung hilft dem Googlebot, alle Seiten zu finden.
• Schnelle Ladezeiten: Je schneller Ihre Seiten laden, desto mehr Seiten kann Google im gleichen Zeitraum crawlen.
• Saubere URL-Struktur: Kurze, sprechende URLs ohne unnötige Parameter erleichtern das Crawling.

Gipfelwerk GmbH sorgt dafür, dass Suchmaschinen Ihre Website effizient crawlen — mit sauberer Technik, optimierter Seitenstruktur und professionellem Technical SEO.