Tobias Heuken - Webservice

Große Teile des Webs liegen in für Suchmaschinen bisher unzugänglichen Bereichen, etwa in Datenbanken. Suchmaschinen-Spidern versperrten dort bislang Eingabeformularen den Zugang – die dummen Crawler konnten diese bislang nicht bedienen. Man spricht daher auch vom unsichtbaren oder dunklen Web (Invisible Web, dark Web), weil sich seine Inhalte nicht in Suchmaschinen widerspiegeln.

Laut einem Posting in Googles Webmaster-Blog versucht sich Googles Crawler Googlebot jetzt auch an Formularen. Findet er auf hochwertigen Sites Seiten mit Eingabefeldern, so füllt er sie mit Begriffen, die er auf der Seite findet. Menüs, Checkboxen und Radio-Buttons bedient der Crawler auf ähnliche Weise. Dabei hält er sich an Vorgaben von Webmastern, ob er bestimmte Bereiche betreten darf oder nicht – robots.txt, nofollow- und noindex-Anweisungen behalten also ihre Wirkung.