Что произошло
OpenAI существенно усилила защиту, которая не позволяет злоумышленникам добраться до внутренних рассуждений моделей GPT-6.2 Astra и GPT-6.2 Sol, сообщило издание The Decoder. По данным компании, адаптивное red teaming по принципу «чёрного ящика», в котором против её систем действовали шесть атакующих моделей, показало: доля успешных извлечений защищённых рассуждений из прошлых запросов упала с 54,0% у GPT-6 Astra до 0,2% у GPT-6.2 Astra.
Для атак на запросы, которые ещё выполняются, показатель успеха, по словам OpenAI, снизился с 22,9% до 0,9%. Защита работает сразу в двух направлениях. На уровне отдельных запросов компания сочетает целевое обучение моделей с фильтрами, проверяющими входящие и исходящие сообщения и вызовы инструментов, а также с ограничениями в API, не позволяющими более старым моделям читать защищённые рассуждения.
Для противодействия скоординированным кампаниям по дистилляции OpenAI ежедневно блокирует от тысяч до десятков тысяч аккаунтов в неделю. Компания добавила, что часть улучшений теперь распространяется и на предыдущую модель GPT-6 Astra, так что и старая система получает часть новой защиты.
Контекст
OpenAI в этой борьбе не одинока. Anthropic тоже сталкивается с систематическими атаками с целью дистилляции и также заблокировала десятки тысяч аккаунтов, чтобы ограничить кражу внутренних рассуждений своих моделей; по сообщениям, её меры срабатывают в 90–99% случаев. Кроме того, Anthropic призвала отрасль и регуляторов согласовать ответ на эту проблему.
Обзор
Неделя в технологиях в одном письме.
Материалы, которые стоят вашего времени, каждую неделю. Отписаться можно в любой момент.
