Crawler - Définition Crawler

Type de robot utilisé par les moteurs de recherches pour parcourir les sites web afin d'archiver les pages web.
Chaque moteur de recherche utilise un robot qui lui est propre, le plus connu étant GoogleBot, le robot de Google.