Ce qui s'est passé
Les modèles GPT-6.2 Astra et Sol d'OpenAI répondent de façon bien plus brève que les versions qu'ils remplacent, selon une évaluation d'Artificial Analysis rapportée par The Decoder. La longueur moyenne des réponses d'Astra est passée de 352 à 210 mots, soit une baisse de 40 %, tandis que celle de Sol est passée de 337 à 223 mots, soit une réduction de 34 %. Le nombre de titres par réponse a presque disparu, tombant de 1,99 à 0,11 pour Astra et de 1,85 à 0,25 pour Sol.
Les modèles sont également devenus beaucoup moins enclins à reconnaître l'incertitude. Sur ce critère, le score d'Astra est passé de 96 à 24 et celui de Sol de 98 à 51. Les scores d'Answer First, qui mesure si un modèle répond à la question d'emblée, sont passés de 49 à 89 pour Astra et de 64 à 87 pour Sol. Les scores de Natural Sounding ont eux aussi progressé. Artificial Analysis a partagé les résultats sur LinkedIn et X.
Dans sa propre comparaison de huit indices de personnalité utilisant les variantes max des modèles, le média a constaté que Claude Fable 5.2 et Opus 5.5 d'Anthropic obtenaient 81 et 90 à l'indice de transparence, contre 41 pour Astra et 57 pour Sol. Les modèles d'Anthropic arrivent aussi en tête sur l'Organization, et Opus 5.5 atteint 90 en Informativeness, bien devant les trois autres modèles.
Contexte
L'AA-PersonalityBench pose 900 questions en anglais sans prompt système. Trois modèles d'IA jugent des paires de réponses anonymisées, ce qui produit des scores pour 30 traits alimentant huit indices. Les valeurs d'indice, de 1 à 100, sont des classements relatifs et non des pourcentages ; elles reflètent le style de communication plutôt que la qualité des réponses, de sorte qu'un score de transparence plus faible ne signifie pas à lui seul davantage de réponses erronées.
Le briefing
La semaine tech, en un seul e-mail.
Les dépêches qui méritent votre temps, chaque semaine. Désinscription à tout moment.
