何が起きたのか
Artificial Analysisの評価によると、OpenAIのGPT-6.2 AstraとSolは、置き換え前のバージョンに比べて回答が大幅に短くなっている。The Decoderが報じた。Astraの平均回答長は352語から210語へと40%減少し、Solは337語から223語へと34%減少した。1回答あたりの見出しの数もほぼ消え、Astraは1.99から0.11に、Solは1.85から0.25に低下した。
モデルは不確実性を認める傾向も大きく弱まった。この特性のスコアは、Astraが96から24に、Solが98から51に下がった。質問にすぐ答えるかどうかを測る「Answer First」のスコアは、Astraが49から89に、Solが64から87に上昇した。「Natural Sounding」のスコアも上がった。Artificial Analysisは結果をLinkedInとXで公開した。
同社が最大(max)モデルの派生版を用いて8つのパーソナリティ指標を独自に比較したところ、AnthropicのClaude Fable 5.2とOpus 5.5はTransparency Indexでそれぞれ81と90を記録し、Astraの41、Solの57を上回った。Anthropicのモデルは「Organization」でも首位で、Opus 5.5は「Informativeness」で90に達し、他の3モデルを大きく引き離した。
背景
AA-PersonalityBenchは、システムプロンプトなしで英語の質問900問を出題する。3つのAIモデルが匿名化した回答のペアを判定し、30の特性についてスコアを出し、それが8つの指標にまとめられる。1から100の指標値は割合ではなく相対的な順位で、回答の質ではなくコミュニケーションのスタイルを反映している。したがって、透明性のスコアが低いからといって、それだけで誤答が多いことを意味するわけではない。
ブリーフィング
1週間のテックニュースを1通のメールで。
読む価値のある記事を毎週お届けします。配信停止はいつでも可能です。
