何が起きたのか
ハードウェア、ソフトウェア、モデルを一体でAI開発するラボのRicursive Intelligenceは、ゼロから学習させたオープンウェイトの言語モデル「Ripple-65B Preview」を公開したと、Ricursiveが明らかにした。同社は、これを自社のAIチップ設計プラットフォームを動かす独自モデルの汎用版と位置づけている。事前学習には12兆トークンを使用し、最大100万トークンのコンテキストを扱える。
TerminalBench 2.1でこのモデルは80.52を記録し、同社はこれを米国のオープンウェイトモデルとして最高の結果だとしている。Ricursiveは、より大規模な米国のオープンウェイトシステムと比較した。Reflection Beam 501Bは80.1、Meta Muse Spark Open 816Bは76.4に達し、NVIDIA Nemotron 3 Ultra 550Bは56.4、Thinking Machines Inkling 975Bは63.8だった。モデルはOpenRouter、Hugging Face、GMI Cloud、Together AIから利用でき、Fireworksも同日中に対応する予定だ。
Ricursiveは、ゼロから行ったすべての研究開発を含む総開発費を3,200万ドルとし、これは従来のオープンウェイトの首位モデルのおよそ10分の1のコストに相当すると見積もった。Mixture-of-Expertsではなくデンス型Transformerを採用し、学習中に40%のMFUを達成したと報告している。同社によれば、140万回の強化学習ロールアウトでこのスコアに到達した。これはReflection Beamの約70分の1にあたる。また、ポストトレーニング用データを購入せず、独自の合成データを構築したという。
背景
同社は、自社の予算を業界で報じられているコストと比較している。OpenAIのCEOであるSam Altman氏は2023年に、GPT-4の学習には1億ドル超かかったと述べた。その後Dario Amodei氏は、最先端モデルのコストは最大10億ドルに達しうるとし、2026年から2027年には事前学習だけで100億〜1,000億ドルに達すると予測した。Ricursiveはまた、ReflectionがSpaceX Colossusを使った計算資源に月額約1億5,000万ドルを支出することで合意したとの報道にも言及した。
ブリーフィング
1週間のテックニュースを1通のメールで。
読む価値のある記事を毎週お届けします。配信停止はいつでも可能です。