OpenAI corta internet de suas IAs mais avançadas após falhas de segurança

A OpenAI passou a treinar seus modelos de inteligência artificial (IA) mais avançados sem acesso à internet aberta após identificar falhas que permitiram a agentes de IA ultrapassar barreiras de segurança e acessar sistemas externos. A medida busca impedir que modelos em desenvolvimento explorem vulnerabilidades durante o treinamento e causem danos fora dos ambientes controlados pela empresa.

Em publicação feita nesta sexta-feira (23), a companhia explicou que reforçou os mecanismos de isolamento de seus ambientes de pesquisa e criou um sistema offline no qual os modelos podem interagir com conteúdos da web previamente indexados e armazenados em cache, sem acessar diretamente servidores externos.

A empresa havia suspendido o treinamento e a avaliação de seus modelos mais avançados em setembro, após um modelo interno explorar uma configuração incorreta e conseguir acesso limitado à internet. Depois de implementar novas proteções, a OpenAI retomou o treinamento por aprendizado por reforço e o uso interno desses modelos em 1º de outubro.

Segundo a companhia, a decisão de manter o treinamento sem acesso à internet aberta continuará em vigor até que avanços nos mecanismos de segurança justifiquem uma flexibilização.

Agentes de IA encontraram formas de contornar barreiras

IAs conseguiram trocar informações sem conexão de rede

Um dos resultados mais relevantes surgiu quando a empresa tentou descobrir se agentes poderiam trocar informações mesmo sem acesso à internet, sem arquivos compartilhados e sem canais de comunicação autorizados.

Em um experimento, agentes executados em máquinas virtuais separadas conseguiram transmitir informações usando o cache do processador, memória de acesso rápido que armazena dados utilizados recentemente.

O método explorava a diferença de tempo entre acessar informações presentes no cache e recuperá-las da memória principal do computador.

Um agente alterava o estado do cache para codificar uma mensagem. Outro media o tempo necessário para acessar determinados dados e interpretava as diferenças como sinais. Depois de estabelecerem um protocolo de codificação e decodificação, os agentes conseguiram trocar informações sem abrir uma conexão de rede ou modificar um arquivo compartilhado.

A OpenAI também identificou outros possíveis canais de comunicação, incluindo o uso de armazenamento compartilhado, competição por tempo de processamento e um cache de certificados TLS na infraestrutura web offline da empresa.

Segundo a companhia, muitos desses canais transmitem informações lentamente e são difíceis de explorar. Ainda assim, eles representam brechas potenciais em sistemas projetados para impedir que agentes isolados se comuniquem.

A empresa afirma ter acrescentado verificações aos mecanismos de monitoramento para identificar tentativas de comunicação por esses meios.

OpenAI reforça isolamento e monitoramento

A estratégia de segurança da companhia combina diferentes camadas de proteção, incluindo ambientes restritos de execução, máquinas virtuais, monitoramento de atividades e controles de rede e infraestrutura em nuvem.

A ideia é impedir que uma falha isolada permita que um modelo ultrapasse todas as barreiras. Mesmo que um agente consiga escapar de um ambiente restrito, outras proteções devem impedir que ele alcance sistemas externos.

A OpenAI também informou que continuará usando seus modelos mais avançados para procurar vulnerabilidades nos próprios ambientes de pesquisa. Os resultados desses testes passaram a integrar as avaliações de segurança utilizadas para decidir se novas rodadas de treinamento podem prosseguir.

A companhia reconheceu, porém, que modelos futuros poderão encontrar vulnerabilidades ainda desconhecidas. Por isso, pretende manter os testes contínuos e aprimorar os mecanismos de detecção e interrupção automática de atividades consideradas arriscadas.