O que aconteceu
O pesquisador de segurança HD Moore, diretor de pesquisa (chief research officer) da Dragos, enviou quase dois milhões de prompts de IA por uma rede de provedores de inferência e revendedores, cada um carregando um segredo único que ele podia rastrear, segundo o Ars Technica. A isca incluía chaves AWS funcionais vinculadas a contas vazias, senhas SSH, URLs e nomes DNS de uso único e referências a repositórios git privados. Cada segredo foi colocado em um único prompt enviado a um provedor.
Como cada segredo foi usado uma única vez, Moore conseguia identificar qual parte o havia exposto quando ele reaparecia. Ele encontrou sinais de que atacantes haviam invadido pelo menos três provedores de hospedagem e copiado as requisições recebidas. Em uma das invasões, algumas centenas das chaves AWS usadas como isca foram reutilizadas. Ao longo do experimento, as chaves geraram dezenas de milhares de chamadas à API da AWS, e os invasores tentaram habilitar modelos no AWS Bedrock e adicionar seus próprios usuários IAM. Alguns revendedores de preço baixo também registraram prompts, e as credenciais contidas neles foram depois usadas por terceiros.
Moore também relatou que provedores desrespeitaram os sinalizadores de Zero Data Retention e de não coleta de dados. Os sistemas de um laboratório chinês de IA acessaram URLs secretas em mais da metade dos prompts enviados aos seus modelos entre julho e outubro, incluindo cerca de dois terços dos que estavam marcados como privados. Hosts dos EUA que revendiam os modelos do laboratório acionaram o mesmo scraper. Um provedor americano rastreou uma URL secreta mais de dois meses depois de uma única chamada.
Contexto
Os roteadores de IA recebem prompts de usuários de aplicativos e os enviam ao mecanismo de inferência que melhor atende a critérios como preço ou tarefa, de modo que os desenvolvedores não precisam contratar diretamente a Anthropic ou a OpenAI. Os prompts são criptografados em trânsito, mas descriptografados a cada salto. Moore disse que a hospedagem on-premises é a mais segura, porém cara. Fora isso, ele aconselhou trabalhar diretamente com um provedor de primeira linha e escolher os provedores upstream em vez de aceitar os pools padrão.
O briefing
A semana em tecnologia, em um só e-mail.
As reportagens que valem o seu tempo, toda semana. Cancele quando quiser.
