IA da Anthropic denuncia falso caso de homicídio à polícia dos EUA

Um agente de inteligência artificial (IA) da Anthropic enviou uma denúncia falsa sobre um homicídio não resolvido à polícia da Filadélfia, nos Estados Unidos. A mensagem foi barrada pelo filtro de spam, mas a empresa levou mais de dois meses para identificar a falha e outros nove dias para comunicá-la às autoridades.

O envio ocorreu em 18 de julho, durante um teste automatizado que envolvia interações com sites escolhidos aleatoriamente. A polícia não investigou a denúncia, mas criticou a demora da empresa e cobrou medidas para evitar novos episódios.

Como o agente enviou a denúncia falsa

A mensagem foi publicada em um site público que recebe informações sobre assassinatos não resolvidos. Segundo a polícia, o agente afirmou que poderia ter informações sobre um caso e alegou ter visto alguém que correspondia à descrição divulgada.

A Anthropic identificou o problema em 28 de setembro e desativou o processo de teste responsável pelo envio. As autoridades só foram notificadas em 7 de outubro.

A polícia da Filadélfia informou que seus mecanismos de segurança impediram que a mensagem avançasse para uma investigação. Também afirmou não ter encontrado indícios de invasão aos sistemas do departamento.

Polícia cobra medidas de segurança

Apesar de a denúncia ter sido retida como spam, a corporação considerou grave a apresentação de informações falsas como se fossem um relato legítimo sobre um homicídio.

“A empresa deve reforçar suas medidas de segurança para evitar que incidentes semelhantes afetem os sistemas da cidade sem o conhecimento da prefeitura”, afirmou a polícia em comunicado à imprensa local.

A corporação também criticou o tempo necessário para identificar e comunicar a falha. “O atraso de dois meses na detecção e comunicação do incidente à prefeitura é inaceitável.”

Outros episódios envolvendo agentes de IA

O caso integra uma série de comportamentos não intencionais de agentes de inteligência artificial. Em relatório publicado nesta semana, a Anthropic detalhou ocorrências envolvendo seus sistemas e diferentes organizações, incluindo órgãos do governo dos Estados Unidos.

Outros episódios mostram como essas falhas podem assumir diferentes formas:

Os episódios mostram por que agentes capazes de executar tarefas de forma autônoma precisam de controles que identifiquem comportamentos inesperados. No caso da Filadélfia, os filtros policiais impediram que a denúncia falsa avançasse, mas a demora em comunicar o problema levantou outra questão: como garantir que falhas desse tipo sejam detectadas e relatadas rapidamente?