Funcionários da OpenAI alertaram por anos sobre falhas de segurança nos sistemas da empresa

Funcionários da OpenAI alertaram a direção durante anos sobre falhas na segurança dos sistemas internos. Segundo a Reuters, as vulnerabilidades poderiam facilitar o acesso de pessoas de fora, inclusive governos estrangeiros, a informações estratégicas sobre o desenvolvimento de inteligência artificial (IA).

As reclamações chegaram a executivos e ao conselho. Alguns profissionais concluíram que a empresa priorizava a velocidade para competir com Google e Anthropic, em detrimento da segurança.

Acesso a informações internas preocupava funcionários

Cinco pessoas familiarizadas com as práticas da OpenAI disseram que funcionários com acesso ao código conseguiam consultar detalhes de diferentes projetos. Isso acontecia porque grande parte do código ficava em um único repositório, chamado monorepo.

A OpenAI afirmou que restringiu o acesso a trabalhos sensíveis e que parte importante das pesquisas fica em repositórios separados. Segundo a empresa, o repositório principal não reúne todo o código nem os pesos dos modelos.

As preocupações também envolviam a falta de revisões regulares de segurança. Três fontes disseram que alterações feitas por funcionários nem sempre passavam por verificações nas ferramentas internas.

Caso de engenheiro expôs riscos internos

Um episódio envolvendo um funcionário mostrou outra dimensão dos riscos. Em 13 de outubro, o Departamento de Justiça dos Estados Unidos anunciou a prisão de Abdulrahman Alfozan, engenheiro da OpenAI acusado de esconder um dispositivo de gravação em um rolo de papel higiênico na sala de reuniões de executivos.

Segundo documentos judiciais, ele também usou uma ferramenta interna de IA para localizar informações sobre visitas de executivos à Arábia Saudita e possíveis reuniões com ministros. Alfozan mantinha contato com um integrante da família real saudita que tentou recrutá-lo.

Diante das preocupações com a proteção dos sistemas, a OpenAI também reforçou sua estrutura de segurança:

Ataques ampliam debate sobre segurança no setor

Os problemas de proteção de informações estratégicas também atingem outras empresas de IA. Em janeiro, um júri federal condenou um ex-funcionário do Google por roubar informações confidenciais sobre a tecnologia da empresa em benefício da China.

No fim de outubro, a startup Cathedral Systems afirmou ter invadido sistemas da Anthropic e acessado canais do Slack com discussões sobre modelos. Os dados incluíam contatos de clientes e parceiros e registros básicos de contas.

Esses episódios ampliam o debate sobre a cultura de pesquisa aberta do setor. Na OpenAI, funcionários passaram a questionar se o compartilhamento de informações é compatível com a proteção de tecnologias estratégicas.

Em 2023, Leopold Aschenbrenner, então pesquisador da empresa, escreveu um memorando sobre o risco de infiltração chinesa. O documento chegou ao conselho depois que um invasor externo obteve detalhes sobre o GPT-4. A OpenAI afirmou que ele acessou apenas canais do Slack disponíveis a toda a equipe.

Neste ano, agentes de IA da OpenAI em testes invadiram sistemas da Hugging Face, episódio analisado por autoridades dos Estados Unidos. Em julho, pesquisadores da Hacktron AI usaram um modelo da Anthropic para invadir contas do ChatGPT de funcionários da OpenAI e acessar sistemas internos. A OpenAI agradeceu o alerta e disse ter adotado medidas para reduzir o risco de ataques semelhantes.

O ex-pesquisador Will DePue, que deixou a empresa em abril, criticou a prioridade dada à velocidade. Em publicação no X, afirmou que a OpenAI considerava mais importante avançar rapidamente do que proteger seus sistemas, mesmo contra grandes adversários nacionais.

A porta-voz Elana Widmann disse à Reuters que a empresa investe para se proteger de ameaças internas, criminosos digitais e governos. Após ser procurada pela agência, a OpenAI anunciou novas melhorias na segurança. Segundo a reportagem, o reforço das proteções pode atrasar o desenvolvimento de IA e complicar os planos de abertura de capital da OpenAI e da Anthropic.