情报报告

Thinking Machines发布Inkling 2 Mini:开源模型复用自身层数,减少token消耗

这款开源混合专家模型让一半的层在每个token上循环三次,在某一指数上与Qwen3.8 27B持平,而成本仅为其一小部分。

INSIGHTEX Editorial Desk

阅读约 2 分钟

Thinking Machines发布Inkling 2 Mini:开源模型复用自身层数,减少token消耗情报报告

事件经过

据The Decoder报道,Thinking Machines推出的新开源模型Inkling 2 Mini采用了循环Transformer设计。该模型不是让每个token依次通过所有层一次,而是让每个token在一组12层(即其24层中的一半)中连续循环三次。公司表示,这种额外的内部计算使模型无需写出更多文本就能处理问题,因此可以用更少的token得出正确答案。

Thinking Machines将Inkling 2 Mini描述为一个混合专家系统,总参数量为264亿,由于采用循环机制,每个token激活的参数为54亿。它可处理文本和图像,支持100万token的上下文窗口,并采用Apache 2.0许可证。模型权重以及一个循环次数可调的研究版本已在Hugging Face上发布,也可以在Tinker Playground中试用。

在智能体编程基准测试中,Inkling 2 Mini在1000亿参数以下的开源模型中得分最高,DeepSWE v1.1成绩为48.2%,Vals Index v2.2成绩为46.5%。Artificial Analysis在其智能指数上给出20分,与Qwen3.8 27B持平,而成本约为后者的六分之一,速度约为其四倍。它可以在内存32 GB或以上的Mac以及英伟达的DGX Spark上本地运行。

背景

循环Transformer通过反复复用相同的层来增强推理能力,即在每个token上投入更多计算,而不是生成更多token。Inkling 2 Mini进入了1000亿参数以下开源模型这一竞争激烈的细分领域,新发布的模型会在智能体编程测试以及Artificial Analysis智能指数等独立榜单上与Qwen3.8 27B等系统进行比较。

Artificial Analysis 主页

Hugging Face 主页

来源The Decoder

简报

一封邮件,尽览一周科技要闻。

每周精选值得一读的报道。可随时退订。