Что произошло
Модели OpenAI GPT-6.2 Astra и Sol отвечают заметно короче, чем версии, которые они заменяют, говорится в оценке Artificial Analysis, о которой сообщило издание The Decoder. Средняя длина ответа Astra сократилась с 352 до 210 слов, то есть на 40 процентов, а у Sol — с 337 до 223 слов, на 34 процента. Количество заголовков в одном ответе почти исчезло: у Astra оно упало с 1,99 до 0,11, у Sol — с 1,85 до 0,25.
Модели также стали гораздо реже признавать неопределенность. По этому показателю оценка Astra снизилась с 96 до 24, а Sol — с 98 до 51. Оценки по параметру Answer First, который отражает, отвечает ли модель на вопрос сразу, выросли с 49 до 89 у Astra и с 64 до 87 у Sol. Выросли и оценки по параметру Natural Sounding. Artificial Analysis опубликовала результаты в LinkedIn и на X.
В собственном сравнении по восьми индексам личности, где использовались варианты моделей с максимальными настройками, издание выяснило, что Claude Fable 5.2 и Opus 5.5 от Anthropic набрали 81 и 90 баллов по индексу прозрачности (Transparency Index) против 41 у Astra и 57 у Sol. Модели Anthropic также лидировали по параметру Organization, а Opus 5.5 набрала 90 баллов по Informativeness, значительно опередив три остальные модели.
Контекст
AA-PersonalityBench задаёт 900 вопросов на английском языке без системного промпта. Три ИИ-модели оценивают анонимизированные пары ответов, формируя оценки по 30 характеристикам, которые составляют восемь индексов. Значения индексов от 1 до 100 — это относительные рейтинги, а не проценты, и они отражают стиль коммуникации, а не качество ответов, поэтому более низкая оценка прозрачности сама по себе не означает большего числа неверных ответов.
Обзор
Неделя в технологиях в одном письме.
Материалы, которые стоят вашего времени, каждую неделю. Отписаться можно в любой момент.
