GPTBot

GPTBot est le robot d’exploration web (crawler) d’OpenAI utilisé exclusivement pour collecter des données destinées à l’entraînement de ses modèles de fondation (famille GPT).

Contrairement à (dédié à la recherche en temps réel), les données ingérées par GPTBot servent à constituer les corpus d’apprentissage. Le contenu aspiré est intégré dans les poids neuronaux des futurs modèles.

OpenAI indique que si vous ne voulez pas qu’un site ou certaines pages soient utilisés à cette fin, il faut bloquer GPTBot dans robots.txt