Der Webcrawler ist ein Programm, dass das www automatisch nach Webseiten durchsucht und diese dann analysiert.
Aus diesem Grund setzen Suchmaschienen gerne Webcrawler ein.
Der Name entstand durch eine gleichnamige Suchmaschiene (WebCrawler), die die erste öffentliche www-Suchmaschien mir Volltextindex war. Im laufe der Zeit bürgerte sich so dieser Name ein.
Der Webcrawler gehört in die Kategorie Bots.
