Gigantes de IA se unem por novo sinal de robots.txt para controlar scraping

Google, OpenAI, Anthropic e Microsoft estão apoiando uma nova diretiva de robots.txt que dá aos publishers uma forma única e mais clara de definir se seu conteúdo pode ser usado no treinamento de IA generativa. A sinalização, proposta na IETF, foi criada para substituir a atual colcha de retalhos de regras específicas por crawler.

Os sites poderão usar um user agent dedicado ao treinamento de IA para bloquear o scraping em todo o site ou liberar apenas seções específicas, como kits de imprensa. A diretiva não impede que o conteúdo apareça na busca do Google nem desfaz raspagens já realizadas, mas estabelece um padrão compartilhado para futuras varreduras. A Anthropic já começou a oferecer suporte, enquanto Microsoft, Google e OpenAI implementam o sinal nos próximos meses.