O que aconteceu
A OpenAI reforçou de forma substancial as proteções que mantêm o raciocínio interno dos modelos GPT-6.2 Astra e GPT-6.2 Sol fora do alcance de atacantes, segundo o The Decoder. De acordo com a empresa, um red teaming adaptativo de caixa-preta, que colocou seis modelos atacantes contra seus sistemas, mostrou que a extração bem-sucedida de raciocínio protegido a partir de requisições anteriores caiu de 54,0% no GPT-6 Astra para 0,2% no GPT-6.2 Astra.
Para ataques direcionados a requisições ainda em andamento, a OpenAI afirmou que a taxa de sucesso caiu de 22,9% para 0,9%. As salvaguardas atuam em duas frentes. Para requisições individuais, a empresa combina treinamento direcionado do modelo com filtros que examinam mensagens e chamadas de ferramentas de entrada e de saída, além de restrições de API que impedem que modelos mais antigos leiam o raciocínio protegido.
Para combater campanhas coordenadas de destilação, a OpenAI disse que suspende de milhares a dezenas de milhares de contas por semana. A empresa acrescentou que agora está estendendo uma seleção das melhorias ao modelo anterior, o GPT-6 Astra, de modo que o sistema mais antigo também passe a contar com parte da nova proteção.
Contexto
A OpenAI não está sozinha nessa batalha. A Anthropic também enfrenta ataques sistemáticos de destilação e igualmente baniu dezenas de milhares de contas para limitar o roubo do raciocínio interno de seus modelos, com esforços que, segundo relatos, têm sucesso em 90% a 99% dos casos. A Anthropic também pediu que a indústria e os formuladores de políticas públicas coordenem sua resposta ao problema.
O briefing
A semana em tecnologia, em um só e-mail.
As reportagens que valem o seu tempo, toda semana. Cancele quando quiser.
