Google stößt in unbekannte Weiten des Internet vor
Samstag, den 19. April 2008 | 135 ArtikeleinblendungenGroße Teile des Webs liegen in für Suchmaschinen bisher unzugänglichen Bereichen, etwa in Datenbanken. Suchmaschinen-Spidern versperrten dort bislang Eingabeformularen den Zugang – die "dummen" Crawler konnten diese bislang nicht bedienen. Man spricht daher auch vom unsichtbaren oder dunklen Web (Invisible Web, dark Web), weil sich seine Inhalte nicht in Suchmaschinen widerspiegeln.
Laut einem Posting in Googles Webmaster-Blog versucht sich Googles Crawler Googlebot jetzt auch an Formularen. Findet er auf "hochwertigen" Sites Seiten mit Eingabefeldern, so füllt er sie mit Begriffen, die er auf der Seite findet. Menüs, Checkboxen und Radio-Buttons bedient der Crawler auf ähnliche Weise. Dabei hält er sich an Vorgaben von Webmastern, ob er bestimmte Bereiche betreten darf oder nicht – robots.txt, nofollow- und noindex-Anweisungen behalten also ihre Wirkung.
