Was passiert ist
Ricursive Intelligence, ein Labor, das KI über Hardware, Software und Modelle hinweg gemeinsam entwickelt, hat Ripple-65B Preview veröffentlicht, ein Open-Weight-Sprachmodell, das es von Grund auf selbst trainiert hat, wie Ricursive mitteilte. Das Unternehmen beschreibt es als allgemein einsetzbare Version eines proprietären Modells, das seine KI-Plattform für das Chipdesign antreibt. Für das Pretraining wurden 12 Billionen Token verwendet, und das Modell verarbeitet Kontexte von bis zu 1M Token.
Bei TerminalBench 2.1 erreichte das Modell 80,52 Punkte, was nach Angaben des Unternehmens das beste Ergebnis eines US-Open-Weight-Modells ist. Ricursive verglich es mit größeren US-Open-Weight-Systemen: Reflection Beam 501B kam auf 80,1, Meta Muse Spark Open 816B auf 76,4, während NVIDIA Nemotron 3 Ultra 550B 56,4 und Thinking Machines Inkling 975B 63,8 erzielten. Das Modell ist über OpenRouter, Hugging Face, GMI Cloud und Together AI verfügbar, Fireworks soll noch am selben Tag folgen.
Ricursive beziffert die gesamten Entwicklungskosten auf 32 Mio. $, einschließlich der gesamten Forschung und Entwicklung von Grund auf, und schätzt dies auf etwa ein Zehntel der Kosten des bisherigen Open-Weight-Spitzenreiters. Das Unternehmen entschied sich für einen dichten Transformer statt Mixture-of-Experts und meldete während des Trainings eine MFU von 40 %. Nach eigenen Angaben erreichte es seinen Wert mit 1,4 Mio. Reinforcement-Learning-Rollouts, rund 70-mal weniger als Reflection Beam, und baute eigene synthetische Daten auf, statt Post-Training-Daten zuzukaufen.
Kontext
Das Unternehmen setzte sein Budget ins Verhältnis zu berichteten Branchenkosten. OpenAI-CEO Sam Altman sagte 2023, das Training von GPT-4 habe mehr als 100 Millionen Dollar gekostet, und Dario Amodei erklärte später, Frontier-Modelle könnten bis zu 1 Milliarde Dollar kosten; für das Pretraining prognostizierte er 10 bis 100 Milliarden Dollar für 2026 bis 2027. Ricursive verwies zudem auf Berichte, wonach Reflection zugesagt haben soll, mit SpaceX Colossus etwa 150 Mio. $ pro Monat für Rechenleistung auszugeben.
Das Briefing
Die Tech-Woche in einer E-Mail.
Die lesenswerten Beiträge der Woche. Jederzeit abbestellbar.