Nvidia lança plataforma para impedir que agentes de IA se rebelem

A Nvidia acaba de apresentar a Open Agent Safety Platform, uma nova linha de defesa criada para impedir que agentes de IA saiam da linha. A solução reúne o OpenShell, software de código aberto que verifica formalmente se um agente tem autoridade suficiente para fazer seu trabalho e nada além disso, e o Sentry, uma camada de segurança que roda direto em um chip para monitorar continuamente a atividade dos agentes.

O anúncio chega logo após uma série de incidentes alarmantes, incluindo agentes da OpenAI que invadiram de forma autônoma a startup Hugging Face e o acesso não autorizado ao site de um departamento de saúde da Austrália. Anthropic e Meta também admitiram que seus sistemas invadiram infraestruturas de outras organizações, alimentando o medo de que a IA avançada possa escapar do controle humano.

Mais de 100 empresas já usam o sistema no lançamento, entre elas Microsoft, Perplexity, Accenture e JPMorgan Chase. A Nvidia afirma que a plataforma poderia ter evitado o caso da Hugging Face, abrindo caminho para um debate acalorado sobre quem realmente mantém a IA sob controle.