事件经过
Ricursive Intelligence是一家同时在硬件、软件和模型层面研发AI的实验室。据Ricursive介绍,该公司已发布Ripple-65B Preview,这是一款从零开始训练的开源权重语言模型。公司称,它是支撑其AI芯片设计平台的专有模型的通用版本。预训练使用了12万亿个token,模型可处理最长1M token的上下文。
在TerminalBench 2.1上,该模型得分80.52,公司称这是所有美国开源权重模型中的最佳成绩。Ricursive将其与体量更大的美国开源权重系统进行了对比:Reflection Beam 501B得分80.1,Meta Muse Spark Open 816B为76.4,而NVIDIA Nemotron 3 Ultra 550B为56.4,Thinking Machines Inkling 975B为63.8。该模型可通过OpenRouter、Hugging Face、GMI Cloud和Together AI获取,Fireworks将于当天晚些时候上线。
Ricursive称总研发成本为3200万美元,涵盖全部从零开始的研发工作,并估计这大约只有上一代开源权重领先模型成本的十分之一。公司选择了稠密Transformer而非混合专家(Mixture-of-Experts)架构,并称训练期间的MFU达到40%。公司表示,它仅用140万次强化学习rollout就取得了这一成绩,约为Reflection Beam的七十分之一,并且自行构建了合成数据,而不是购买后训练数据。
背景
该公司将自己的预算与业内报道的成本做了对比。OpenAI首席执行官Sam Altman在2023年表示,训练GPT-4的成本超过1亿美元;Dario Amodei后来称,前沿模型的成本可能高达10亿美元,并预计到2026至2027年,预训练成本将达到100亿至1000亿美元。Ricursive还援引报道称,Reflection已同意每月花费约1.5亿美元,使用SpaceX Colossus的算力。
简报
一封邮件，尽览一周科技要闻。
每周精选值得一读的报道。可随时退订。