Crawler sind Programme der Suchmaschinen die Internetseiten regelmäßig auf ihren Inhalt (Content) prüfen. Die Crawler werden auch Robots (Roboter) oder Searchbots, kurz Bots (Maschinen) genannt. Der vollautomatische Analysevorgang des Crawlers wird als Spidern der Website bezeichnet.
Aufgabe des Crawlers ist die Indexierung für Suchmaschinen
Die Aufgabe eines Crawlers ist es alle weltweit vorhandenen Webseiten zu durchzusuchen und für die Datenbanken der Suchmaschinen zu indexieren. Die Indexierung von Websites ist für die Suchmaschinenbetreiber wie google und bing erforderlich, damit jede Webseiten per Suchanfrage auffindbar ist. Dazu werden alle Webseiten in den Datenbanken für mögliche Suchanfragen mit entsprechend relevanten Keywords verschlagwortet.
Crawler garantieren Traffic für ihre Webseite
Crawler sind extrem wichtige Besucher für jeden Webseitenbetreiber. Damit der Crawler eine Webseite ungehindert auf neue Inhalte überprüfen kann ist korrekter HTML Code und eine optimale Seitenstruktur ebenso unverzichtbar wie zum Beispiel die Kontrolle und der Abgleich indexierter und gelisteter Seiten im Index der jeweiligen Suchmaschine.
Crawler besuchen jede Website regelmäßig und kommen immer wieder zurück
Damit ist der Crawler ein spezieller Typ des Computerprogramms das seine Aufgabe vollkommen eigenständig und in einem regelmäßigem Intervall verrichtet. Im Prinzip arbeitet sich das Crawlerprogramm – analog dem Surfen im Internet – von einem Hyperlink der einen zur nächsten URL der Website vor. Bei diesem Analysevorgang werden alle aufgefundenen Internetadressen gespeichert und der Reihe nach besucht. Neu gefundene Hyperlinks werden in der bereit vorhandenen URL-Liste ergänzt.
Crawler, Keywords & Semantik
Die Crawler analysieren Webseiten bereits auf vorhandene Keywords und Metadaten. Damit indexieren die Crawler die Webseiten bereits nach bestimmten semantische Regeln (siehe Semantik). Ziel ist die Erstellung der sogenannten Snippets. Das Snippet besteht aus der Überschrift im Suchgebnis, der darunter liegenden URL und dem Teaser, der häufig aus den ersten beiden Sätzen des Webseitentextes gebildet wird.
Was Sie bei der Optimierung Ihrer Unternehmenswebsite unbedingt beachten sollten!
