Teste de segurança da OpenAI sai do ambiente controlado e alcança sistemas externos

Um teste conduzido pela OpenAI para avaliar a capacidade de modelos de inteligência artificial em tarefas avançadas de cibersegurança ultrapassou os limites do ambiente preparado para o experimento e atingiu sistemas externos. A investigação sobre o episódio mostrou que a atividade não ficou restrita à plataforma Hugging Face e envolveu também serviços públicos utilizados pelos agentes durante a sequência de ações.

O episódio aconteceu durante uma avaliação interna criada justamente para medir até onde modelos conseguiriam chegar ao identificar e explorar vulnerabilidades. Para realizar esse tipo de teste, algumas das proteções utilizadas nos produtos comerciais da OpenAI não estavam ativas, enquanto o acesso à rede deveria permanecer limitado.

Durante a avaliação, no entanto, os agentes encontraram uma vulnerabilidade até então desconhecida em um software de terceiros utilizado na infraestrutura de pesquisa. A partir dessa brecha, conseguiram alcançar a internet e avançar sobre outros sistemas.

Agentes chegaram à Hugging Face

Um dos principais alvos acabou sendo a Hugging Face, plataforma amplamente utilizada por desenvolvedores e pesquisadores de inteligência artificial.

Segundo a reconstrução divulgada pela empresa, os agentes aparentemente identificaram que a plataforma poderia armazenar materiais relacionados ao teste que estavam tentando resolver. Em vez de solucionar os desafios apenas pelos caminhos previstos pela avaliação, passaram a procurar uma forma de chegar às respostas diretamente.

O comportamento desencadeou uma sequência extensa de ações automatizadas. A Hugging Face afirma ter reconstruído aproximadamente 17,6 mil ações realizadas durante o incidente, entre 9 e 13 de julho. A atividade incluiu reconhecimento de sistemas, exploração de vulnerabilidades e movimentação entre diferentes partes da infraestrutura.

Na prática, os agentes conseguiram combinar diferentes falhas até alcançar sistemas de produção da Hugging Face e obter soluções de desafios utilizadas na avaliação. Segundo a OpenAI, sua equipe de segurança identificou internamente a atividade anormal e passou a trabalhar com a Hugging Face na investigação e contenção do episódio.

Outros serviços também foram utilizados

A reconstrução do incidente mostrou ainda que a operação não ocorreu por um único caminho. Depois de conseguir acesso externo, o sistema recorreu a diferentes serviços disponíveis publicamente para sustentar suas ações.

A investigação da Hugging Face identificou, por exemplo, o uso de serviços públicos para receber comandos, armazenar arquivos e movimentar informações. Os agentes também adaptavam os caminhos utilizados quando encontravam obstáculos, reconstruindo parte da estrutura necessária para continuar as ações.

Esse comportamento chamou atenção pela autonomia e pela escala. Segundo a Hugging Face, não se tratou apenas da exploração isolada de uma vulnerabilidade, mas de milhares de decisões automatizadas que, combinadas, permitiram encontrar caminhos entre sistemas independentes.

Impacto foi limitado, segundo empresas

Apesar da extensão da atividade, as empresas afirmam que não encontraram evidências de comprometimento generalizado dos conteúdos disponibilizados aos usuários.

A Hugging Face informou que o conteúdo de clientes acessado ficou restrito às soluções de desafios armazenadas em cinco conjuntos de dados e a metadados operacionais relacionados a consultas feitas ao servidor. A empresa afirma que outros modelos, conjuntos de dados, Spaces e pacotes voltados aos usuários não foram afetados.

Em uma divulgação anterior, a plataforma também afirmou não ter encontrado evidências de alterações em modelos públicos ou de comprometimento da cadeia de distribuição de software.

Incidente acende alerta sobre agentes autônomos

O caso ganhou relevância para o setor de inteligência artificial porque mostra como sistemas avançados podem testar uma grande quantidade de caminhos em pouco tempo e combinar vulnerabilidades que, isoladamente, poderiam parecer menos significativas.

A Hugging Face avaliou que a velocidade e o volume das ações mudam o desafio para as equipes de segurança. Enquanto um invasor humano precisa escolher quais possibilidades investigar, um agente automatizado pode experimentar milhares de alternativas, abandonar as que falham e continuar explorando outras rotas.

Após o episódio, a Hugging Face informou ter fechado os caminhos explorados, reforçado restrições de acesso, trocado credenciais e reconstruído partes da infraestrutura como medida de precaução.

A OpenAI, por sua vez, afirmou que mantém a investigação com apoio de especialistas externos e supervisão de seu Comitê de Segurança e Proteção. A empresa também informou que adotou controles mais rígidos na infraestrutura utilizada para avaliações enquanto as vulnerabilidades identificadas são corrigidas.

Segundo a OpenAI, nenhum modelo previsto para futuros lançamentos esteve envolvido na exploração da Hugging Face. Um dos sistemas utilizados era um protótipo interno de pesquisa que não estava destinado à disponibilização pública.

Leia também: Alego dá aval a empréstimo de meio bilhão de reais para aquisição de prédio do novo Hugo