Er wühlt sich durch die Seiten, kriecht in jeden Winkel, durchforstet alles, was er findet und nimmt mit, was wertvoll aussieht, um seine Schätze dann anzuhäufen und zu katalogisieren. Vor nichts macht er halt und niemand ist vor ihm sicher, wenn er seine Streifzüge antritt. Die Rede ist vom sogenannten ‚Crawler‘, zu deutsch etwa: ‚Kriecher‘ – bisweilen tritt er aber auch als ‚Spider‘, ‚Robot‘ oder ‚Searchbot‘ auf. Sein engster Komplize ist der Indexer: Er wartet geduldig, um die Schätze zu horten, die der Crawler ihm bringt. Was vielleicht anmuten mag, wie ein futuristisches Wesen aus einem Science-Fiction-Film, ist tatsächlich ein Programm, das im Internet alltäglich ist. Vor allem Suchmaschinen wissen die Vorteile von Crawlern zu schätzen: Sie rüsten die Kriechprogramme mit einer Liste an Homepages aus, die diese nach und nach besuchen, um deren Inhalt auszulesen. Jeder Link, den ein Crawler auf einer besuchten Seite findet, wird zur Liste hinzugefügt, so dass im Schneeballsystem schließlich alle miteinander verlinkten Seiten Besuch vom Crawler bekommen. Alle dort vorhandenen Informationen werden dem Indexer zugespielt, der sie erfasst, in relevant und irrelevant sortiert und dann – der Name lässt es vermuten – indexiert, also systematisiert und katalogisiert. Für Suchmaschinen dient dies einem ganz einfachen Zweck: Wenn das ganze WWW bereits als dicker, digitaler Katalog vorliegt, lässt sich darin viel schneller ein gewünschtes Ergebnis ausmachen, als wenn die Maschine tatsächlich bei jeder Anfrage auf die mühsame Wanderung durch das unendliche Netz gehen müsste.Doch natürlich lässt sich so ein Crawler auch prima als „Trüffelschwein“ einsetzen und wird deshalb auch oft verwendet, um etwa RSS-Newsfeeds, E-Mail-Adressen oder andere Informationen zu suchen und zu sammeln – das ist dann wiederum nicht immer ganz im Sinne der Betroffenen. Wie bei der sprichwörtlichen Medaille mit den beiden Seiten gilt also auch hier: Als Suchender kann mir der Crawler durchaus nützlich sein – als Akteur sollte ich mir gut überlegen, was ich ihm unter die digitalen Augen kommen lassen möchte.