インテリジェンスレポート

Thinking Machines、層を再利用しトークン削減するオープンモデルInkling 2 Mini

このオープンなMoEモデルは全層の半分をトークンごとに3回ループさせ、ある指標でQwen3.8 27Bに並ぶ性能を大幅に低いコストで実現した。

INSIGHTEX Editorial Desk

2 分で読めます

Thinking Machines、層を再利用しトークン削減するオープンモデルInkling 2 Miniインテリジェンスレポート

何が起きたのか

Thinking Machinesの新しいオープンモデル「Inkling 2 Mini」は、ループ型トランスフォーマーの設計を採用していると、The Decoderが報じた。各トークンをすべての層に1回ずつ通す従来の方式とは異なり、このモデルは全24層のうち半分にあたる12層のセットに、各トークンを連続3サイクルにわたって通す。同社によれば、この内部での追加計算により、モデルは余分なテキストを書き出さずに問題を解けるため、より少ないトークン数で正解にたどり着けるという。

Thinking MachinesはInkling 2 Miniを、総パラメータ数264億のMoE(Mixture of Experts)システムと説明しており、ループにより、トークンごとに有効となるパラメータは54億になる。テキストと画像を扱え、100万トークンのコンテキストウィンドウに対応し、Apache 2.0ライセンスで提供される。重みと、ループ回数を調整できる研究用バリアントはHugging Faceで公開されており、モデルはTinker Playgroundで試すことができる。

エージェント型コーディングのベンチマークでは、Inkling 2 Miniは1000億パラメータ未満のオープンモデルの中で最高スコアを記録し、DeepSWE v1.1で48.2%、Vals Index v2.2で46.5%を達成した。Artificial AnalysisはIntelligence Indexで20ポイントと評価しており、これはQwen3.8 27Bと同水準だが、コストは約6分の1、速度は約4倍だという。32GB以上のメモリを搭載したMacや、NvidiaのDGX Spark上でローカル実行できる。

背景

ループ型トランスフォーマーは、同じ層を繰り返し再利用し、より多くのトークンを生成する代わりに1トークンあたりの計算量を増やすことで、推論能力の向上を狙う手法である。Inkling 2 Miniが参入したのは、1000億パラメータ未満のオープンモデルという競争の激しい分野で、ここでは新しいモデルがQwen3.8 27Bなどのシステムと、エージェント型コーディングのテストやArtificial AnalysisのIntelligence Indexのような独立した評価で比較される。

Artificial Analysisのプロフィール

Hugging Faceのプロフィール

出典The Decoder

ブリーフィング

1週間のテックニュースを1通のメールで。

読む価値のある記事を毎週お届けします。配信停止はいつでも可能です。