Definition:

Diese Programme durchsuchen das Internet selbständig nach Inhalten, indexieren diese und lesen Webseiten, sowie auch Informationen, vollständig aus. Die Crawler werden auch „Robots“ genannt, da die Suche automatisch abläuft, oder aber auch „Spider“, da ihr Workflow einem Spinnennetz ähnelt.
Um Inhalte im Internet zu finden und zu indexieren, sind Crawler das Kerninstrument aller Suchmaschinen. Damit die Webseite für diese einwandfrei zu lesen ist, stellen die erfahrenen SEO-Experten sicher, dass ihre Webseite einwandfrei lesbar ist und alle Inhalte indexiert werden können.

Hyperlinks

Über Hyperlinks besuchen die Crawler Internetseiten. Meist sind diese bereits auf indexierten Webseiten integriert. Im Cache wird dann der ausgelesene Inhalt gespeichert bzw. ausgewertet und auch indexiert. Der Algorithmus ist die Grundlage der Indexierung der jeweiligen Suchmaschine. Die Suchergebnisse werden mit den Daten in der Suchmaschine angezeigt.