Crawler

Mit dem Crawler wird das Internet nach Content durchsucht. Das Programm liest Informationen vollständig aus und indexiert sie. Synonyme für den Crawler sind Spider oder Robot (automatischer Prozess). Der Begriff Spider basiert darauf, dass der Crawler im Internet einen Weg zurücklegt, der einem Spinnennetz ähnelt. Die besuchten Internetseiten werden hauptsächlich über Hyperlinks besucht. Sobald der Inhalt in den Cache gelangt, wird er dort gespeichert und ausgewertet. Da auf dieser Basis auch Suchmaschinen funktionieren, gelten Crawler als wichtige Instrumente.