Anthropic открыла код FlashProve для проверки модели ИИ

Что произошло

Anthropic выпустила FlashProve — прототип с открытым исходным кодом, который позволяет поставщику модели ИИ зафиксировать конкретную модель, а затем прикладывать к каждому ответу криптографическое доказательство того, что он сгенерирован именно ею, сообщила Anthropic. Система опирается на zkSNARK — класс компактных доказательств с нулевым разглашением. В компании заявили, что улучшения, благодаря которым система работает заметно быстрее прежних решений с открытым кодом, предложил Claude.

В тестах на Llama 4 Maverick — модели типа mixture-of-experts на 400 млрд параметров с 4-битным квантованием весов — один GPU H100 генерировал доказательства со скоростью примерно 110 токенов в секунду. Каждый запрос на 1024 токена даёт доказательство размером около 19 МБ. Генерация доказательства обходится примерно в 70–95 раз дороже по времени GPU, чем запуск самой модели на vLLM, библиотеке с открытым кодом, тогда как прежние системы с открытым кодом, как отмечалось, были медленнее на порядки.

Доказательства скрывают веса модели, но не рассчитаны на сокрытие её архитектуры. Чтобы упростить аудит проектных решений Claude, команда подготовила формальные утверждения о гарантиях безопасности на языке Lean, а также генератор доказательств, быстрый верификатор на C++ и доказуемо корректный верификатор на Lean. Код, доказательства и документация доступны по лицензии Apache 2.0, а авторы назвали работу промежуточным этапом.

Контекст

Сегодня пользователи не могут убедиться, какая модель сформировала ответ. Сервис маршрутизации может незаметно подменить модель на более дешёвую, а злоумышленник — исказить поток токенов. Прямая проверка потребовала бы закрытых весов и больших вычислительных ресурсов. В Anthropic заявили, что доказуемый инференс мог бы также помочь независимым оценщикам и регуляторам, в том числе в рамках предложений, которые ограничили бы использование оборудования инференсом без обучения.