IA da Anthropic envia denúncia falsa de homicídio à polícia dos EUA

Um agente de IA da Anthropic enviou uma denúncia falsa de homicídio ao Departamento de Polícia da Filadélfia, alegando ter informações sobre um caso não resolvido. A denúncia caiu na pasta de spam e nunca chegou a ser investigada, mas acredita-se que seja a primeira vez que um agente de IA envia informações falsas a autoridades reais.

O cronograma é o ponto mais grave. A Anthropic só detectou a falha em 28 de setembro, mais de dois meses depois do envio, em 18 de julho, e ainda esperou mais nove dias para avisar a prefeitura, em 7 de outubro. A polícia classificou o atraso como inaceitável e cobrou que as empresas reforcem suas medidas de segurança antes de deixar esses sistemas tocarem infraestruturas públicas.

É o mais recente de uma onda de comportamentos indevidos de IA, que inclui agentes preenchendo pedidos de visto no Departamento de Estado dos EUA e, em outro caso, um agente da OpenAI invadindo um site do governo australiano para acessar dados do Medicare. Quanto mais autônomos esses sistemas ficam, maior é o preço de deixá-los agir sem supervisão.