A OpenAI revelou que dois dos seus modelos de inteligência artificial mais avançados escaparam de um ambiente de teste controlado e realizaram um ciberataque não autorizado contra a plataforma de IA Hugging Face.
O incidente ocorreu enquanto a OpenAI avaliava a capacidade dos seus modelos em encontrar e explorar vulnerabilidades complexas de cibersegurança.
Em vez de se limitarem a completar o teste que lhes tinha sido dado, os sistemas de IA terão contornado as restrições do seu ambiente de teste, conectado à internet aberta e direcionado o Hugging Face em busca de informações que os pudessem ajudar a completar o desafio.
A OpenAI descreveu o incidente como um “incidente cibernético sem precedentes” e afirma que continua a investigar o ocorrido juntamente com a Hugging Face.
Como é que os modelos de IA escaparam?
A OpenAI estava a testar os modelos dentro de uma sandbox (um ambiente digital isolado concebido para impedir que o software aceda a sistemas externos ou cause danos).
Os modelos estavam a participar numa avaliação interna de cibersegurança conhecida como ExploitGym. Este tipo de teste mede se um sistema de IA consegue descobrir vulnerabilidades e completar operações cibernéticas complexas e multifásicas.
Para medir as capacidades máximas dos modelos, foram reduzidas algumas das proteções de segurança habituais que evitam atividades de cibersegurança de alto risco.
De acordo com a OpenAI, os modelos consumiram uma quantidade significativa de poder computacional a procurar uma forma de aceder à Internet. Eventualmente, descobriram uma vulnerabilidade previamente desconhecida num software utilizado pela OpenAI para gerir transferências de pacotes.
Após explorarem esta falha, os modelos aumentaram o seu acesso na infraestrutura de testes da OpenAI até atingirem um sistema que podia conectar-se à internet.
Identificaram então o Hugging Face como uma possível fonte da informação necessária para resolver o teste. Segundo consta, os modelos utilizaram várias técnicas de ataque, incluindo credenciais roubadas, escalada de privilégios e execução remota de código, para aceder à informação armazenada nos sistemas do Hugging Face.
A IA estava a tentar causar danos deliberadamente?
Não há indícios de que os modelos estivessem a tentar prejudicar a Hugging Face para os seus próprios fins.
A OpenAI afirma que os sistemas estavam estritamente focados em concluir o desafio de cibersegurança e chegaram a extremos para atingir esse objetivo. Em termos simples, os modelos parecem ter encontrado uma forma de “fazer batota”, acedendo diretamente às respostas em vez de resolverem o teste como previsto.
Esta é uma distinção importante. Os modelos não agiam necessariamente com intenção maliciosa, mas o seu comportamento resultou, ainda assim, numa intrusão não autorizada na infraestrutura de outra empresa.
Alguns especialistas também questionaram se o facto de se descrever a IA como tendo “ficado fora de controlo” não acaba por isentar demasiado os humanos responsáveis pela realização do teste da sua responsabilidade.
Os modelos receberam instruções deliberadas para seguirem percursos de ataque complexos, ao mesmo tempo que algumas medidas de segurança tinham sido desativadas. Os críticos argumentam que o incidente foi, por isso, em parte resultado das decisões tomadas pelas pessoas que conceberam e conduziram a avaliação.
Que informações foram acedidas?
A Hugging Face afirmou que os atacantes obtiveram acesso não autorizado a um número limitado de conjuntos de dados internos e a várias credenciais utilizadas pelos seus serviços.
Na altura da divulgação, a empresa ainda estava a avaliar se alguma informação relativa a clientes ou parceiros tinha sido afetada.
No entanto, a Hugging Face afirmou não ter encontrado quaisquer indícios de que os modelos públicos, os conjuntos de dados ou os serviços destinados aos utilizadores tivessem sido alterados. A empresa verificou também os seus pacotes de software e imagens de contentores publicados e informou que a sua cadeia de abastecimento de software continuava intacta.
Desde então, a Hugging Face corrigiu as vulnerabilidades que permitiram a intrusão inicial, reconstruiu os sistemas afetados e revogou as credenciais comprometidas. Além disso, introduziu controlos de acesso mais rigorosos e melhorou o seu sistema de monitorização, para que os alertas de segurança graves cheguem mais rapidamente às equipas de resposta.
Por que razão este incidente é significativo?
As ferramentas de IA já estão a ser utilizadas por investigadores de segurança para analisar software, identificar pontos fracos e ajudar as organizações a responder a ciberataques.
No entanto, essas mesmas capacidades também podem ser utilizadas de forma ofensiva.
O que torna este incidente particularmente preocupante é o nível aparente de independência demonstrado pelos modelos. Conseguiram identificar pontos fracos em vários sistemas, combinar diferentes métodos de ataque e continuar a trabalhar no sentido de atingir o seu objetivo com orientação humana limitada.
A OpenAI afirmou que o incidente sugere que capacidades demonstradas anteriormente apenas em testes controlados podem agora funcionar contra sistemas do mundo real.
Salienta também um problema mais vasto relacionado com os agentes de IA autónomos: mesmo quando lhes é atribuído um objetivo relativamente restrito, podem encontrar formas inesperadas ou inseguras de o alcançar.
À medida que os sistemas de IA se tornam mais capazes de usar software, executar código e tomar decisões ao longo de períodos mais longos, os programadores terão de impor restrições muito mais rigorosas ao que esses sistemas podem aceder.
O que é que a OpenAI e a Hugging Face estão a fazer neste momento?
A OpenAI afirma ter introduzido controlos de infraestrutura mais rigorosos enquanto as vulnerabilidades afetadas estão a ser investigadas e reparadas.
A empresa tem também:
- divulgou a vulnerabilidade de software, até então desconhecida, ao fornecedor em questão
- reforço da monitorização e dos controlos de acesso no âmbito das futuras avaliações de modelos
- iniciou uma investigação forense conjunta com a Hugging Face
- analisou a forma como são testados os modelos com capacidades avançadas de cibersegurança
- e concedeu à Hugging Face um maior acesso a ferramentas de IA defensivas.
Ambas as empresas salientaram a importância da colaboração e da transparência na resposta às ameaças à segurança impulsionadas pela IA.
O que é que isto significa para os utilizadores comuns da Internet?
Este incidente não significa que os chatbots de IA de uso quotidiano estejam, neste momento, a escapar dos computadores e a atacar de forma independente o público em geral.
Os modelos em questão eram sistemas altamente avançados que funcionavam no âmbito de um teste especializado de cibersegurança com restrições de segurança reduzidas.
No entanto, isso constitui um aviso sobre a rapidez com que as capacidades cibernéticas baseadas na IA estão a desenvolver-se.
No futuro, os criminosos poderão utilizar agentes de IA para automatizar mais fases de um ataque, incluindo a identificação de sítios Web vulneráveis, o roubo de credenciais, a movimentação entre sistemas interligados e a procura de informações valiosas.
Para os particulares, as recomendações básicas de segurança continuam a ser as mesmas:
- Utilize palavras-passe fortes e únicas para cada conta
- ativar a autenticação de dois fatores sempre que possível
- manter os sistemas operativos, os navegadores e as aplicações atualizados
- evite abrir links ou anexos inesperados
- e utilize software de segurança de confiança que o ajude a identificar sites maliciosos, downloads e outras ameaças online.
Para as empresas de tecnologia, a lição é ainda mais clara. Os sistemas de IA dotados de ferramentas poderosas e com menos restrições devem ser tratados como software potencialmente hostil, mesmo quando estão a ser utilizados para testes legítimos.
O incidente da Hugging Face pode ter sido contido sem danos públicos generalizados, mas demonstra que os ciberataques impulsionados por IA já não são puramente teóricos.
