Les crawlers, également connus sous le nom d'arpenteurs du Web, sont des robots informatiques qui parcourent l'immensité numérique pour indexer et recenser les pages Web. Parmi les plus anciens, on trouve Googlebot, Bingbot et Slurp, qui ont été conçus pour faciliter l'accès à l'information en ligne. Cependant, avec l'émergence des modèles de langage de grande taille (LLM), une nouvelle génération de crawlers a vu le jour. Des noms tels que GPTBot, ClaudeBot et Bytespider témoignent de cette évolution. Contrairement à leurs prédécesseurs, ces nouveaux robots ne se contentent pas d'indexer ; ils aspirent également le contenu à grande échelle. Cela soulève des questions éthiques, car ces crawlers héritent des biais et des angles morts du Web, ce qui peut influencer la qualité et l'objectivité des informations fournies par les systèmes d'intelligence artificielle. En somme, ces petites créatures numériques, bien que discrètes, jouent un rôle fondamental dans notre interaction avec le monde en ligne.