Eine Webseite kann den besten Content bieten, aber wenn sie vom Googlebot nicht gecrawlt und indexiert wird, wird sie nicht in Suchergebnissen angezeigt. Für die Indexierung der Webseite ist ein Googlebot zuständig. Hierbei handelt es sich um einen Webcrawler, der das Internet nach neuen URLs absucht und diese ins Index aufnimmt. Dazu besucht er die jeweiligen Webseiten und speichert Informationen im Google-Index. Damit gilt die Seite als indexiert.
Der Googlebot crawlt jedoch nur eine begrenzte Anzahl an URLs pro Domain. Die Anzahl hängt vom Crawl Budget ab, das je nach Webseite variiert. Das Crawl Budget wird von verschiedenen Faktoren wie zum Beispiel Aktualität des Contents oder Anzahl der Inbound-Links bestimmt.
Wie prüfe ich ob eine bestimmte Webseite im Google-Index aufgeführt ist?
Dies kannst du ganz einfach mit einer Site-Abfrage gewährleisten. Dazu gibst du „site:“ in die Suchzeile ein und fügst anschließend die URL deiner Webseite ein. So kannst du feststellen, ob die URL aufgeführt ist. Sollte es nicht der Fall sein, kannst du die URL direkt an Google-Index senden. Gehe dafür in der Google Search Console auf Google Index und dann auf „Abruf wie durch Google“. Rufe die URL ab und sende sie an den Google-Index.
Die robots.txt-Datei prüfen
Die robots.txt-Datei ist eine kleine Datei, die vom Googlebot geprüft wird, bevor er eine Webseite crawlt. Diese Datei beinhaltet Informationen, die dem Googlebot sagen, welche Bereiche einer Webseite von Crawlern ignoriert werden sollen. Es wird empfohlen, dem Googlebot einen möglichst umfassenden Zugriff auf die Webseite zu gewähren.
Gehe folgendermaßen vor, um die robots.txt-Datei zu prüfen:
- Prüfe, ob im Stammverzeichnis deiner Domain auch eine robots.txt-Datei vorhanden ist:
www.beispieldomain.com/robots.txt
- Schaue dir genau an, welche Bereiche über die „Disallow“-Funktion vom Crawling ausgeschlossen sind. Stelle sicher, dass keine Webseite ausgeschlosse ist, die eigentlich gecrawlt werden muss.
- Prüfe ob die robots.txt-Datei auch einen Link zu deiner XML-Sitemap enthält.
Für die Prüfung der robots.txt-Datei kannst du den robots.txt-Tester von Google Search Console verwenden. Du findest den unter „Crawling“.