Что произошло
Исследователь по безопасности HD Moore, директор по исследованиям (chief research officer) компании Dragos, пропустил почти два миллиона ИИ-промптов через сеть провайдеров инференса и реселлеров, и каждый из них содержал уникальный секрет, который можно было отследить, сообщает Ars Technica. В приманках были рабочие ключи AWS, привязанные к пустым аккаунтам, пароли SSH, одноразовые URL и DNS-имена, а также ссылки на приватные git-репозитории. Каждый секрет попадал в один промпт, отправленный одному провайдеру.
Поскольку каждый секрет использовался только один раз, по его повторному появлению Moore мог определить, кто именно его раскрыл. Он обнаружил признаки того, что злоумышленники взломали как минимум трёх хостинг-провайдеров и копировали входящие запросы. При одном из взломов пара сотен приманочных ключей AWS была использована повторно. За время эксперимента эти ключи вызвали десятки тысяч обращений к API AWS, а злоумышленники пытались включить модели в AWS Bedrock и добавить собственных пользователей IAM. Некоторые недорогие реселлеры также логировали промпты, а содержавшиеся в них учётные данные позднее использовали другие лица.
Moore также сообщил, что провайдеры игнорировали флаги Zero Data Retention и запрета на сбор данных. Системы одной китайской ИИ-лаборатории с июля по октябрь запрашивали секретные URL более чем из половины промптов, отправленных к её моделям, в том числе примерно из двух третей промптов с пометкой о приватности. Тот же скрапер срабатывал и у американских хостов, перепродающих модели этой лаборатории. Один американский провайдер обошёл секретный URL спустя более двух месяцев после единственного обращения.
Контекст
AI-роутеры принимают промпты от пользователей приложений и направляют их тому движку инференса, который лучше всего подходит по таким критериям, как цена или тип задачи, чтобы разработчикам не приходилось заключать прямые договоры с Anthropic или OpenAI. Промпты шифруются при передаче, но расшифровываются на каждом промежуточном узле. По словам Moore, самый безопасный вариант — размещение на собственных серверах, но он дорог. В остальных случаях он советовал работать напрямую с провайдером высшего уровня и самостоятельно выбирать вышестоящих провайдеров, а не соглашаться на пулы по умолчанию.
Обзор
Неделя в технологиях в одном письме.
Материалы, которые стоят вашего времени, каждую неделю. Отписаться можно в любой момент.
