Crawler

Die Begriffe Robot, Crawler und Spider kommen aus dem Bereich der Suchmaschinen. Dabei werden Webseiten automatisch aufgerufen und analysiert, beziehungsweise indexiert. Nur so können neue Webseiten und -inhalte aufgenommen und dem Nutzer entsprechend nach Mehrwert präsentiert werden. Der Crawler (Spider, Robot) arbeitet nach einem bestimmten Algorithmus, der die Treffer ordnet und als Ergebnisliste ausgeben kann. Nur indexierte Webseiten lassen sich hier anzeigen. Das Erfassen von neuen Inhalten erfolgt automatisch. Bilder, Java-Script oder Designs bleiben vom Crawler nicht berücksichtigt. Es kommt lediglich auf die Inhalte einer Seite an. Links wiederum haben intern und extern eine Wichtung. Sie werden vorerst abgespeichert und später besucht, um die lesbaren Informationen mit der eigentlichen Seite in Verbindung zu bringen. Regelmäßig werden die gesammelten Daten der Crawler ausgewertet und in die Ergebnisse aufgenommen.