Ce qui s'est passé
Ricursive Intelligence, un laboratoire qui développe l'IA en intégrant matériel, logiciels et modèles, a publié Ripple-65B Preview, un modèle de langage open-weight entraîné entièrement à partir de zéro, a indiqué Ricursive. L'entreprise le décrit comme une version généraliste d'un modèle propriétaire qui alimente sa plateforme de conception de puces par IA. Le pré-entraînement a porté sur 12 000 milliards de tokens, et le modèle gère un contexte pouvant atteindre 1M de tokens.
Sur TerminalBench 2.1, le modèle a obtenu 80,52, ce que l'entreprise présente comme le meilleur résultat pour un modèle open-weight américain. Ricursive l'a comparé à des systèmes open-weight américains plus gros : Reflection Beam 501B a obtenu 80,1, Meta Muse Spark Open 816B a atteint 76,4, tandis que NVIDIA Nemotron 3 Ultra 550B a affiché 56,4 et Thinking Machines Inkling 975B 63,8. Le modèle est accessible via OpenRouter, Hugging Face, GMI Cloud et Together AI, Fireworks devant suivre plus tard dans la journée.
Ricursive chiffre le coût total de développement à 32 M$, couvrant l'ensemble de la R&D menée à partir de zéro, et estime qu'il représente environ un dixième du coût du précédent leader open-weight. L'entreprise a opté pour un Transformer dense plutôt qu'une architecture Mixture-of-Experts et fait état d'un MFU de 40 % pendant l'entraînement. Elle affirme avoir atteint ce score avec 1,4M de rollouts d'apprentissage par renforcement, soit environ 70 fois moins que Reflection Beam, et avoir construit ses propres données synthétiques plutôt que d'acheter des données de post-entraînement.
Contexte
L'entreprise met son budget en regard des coûts rapportés dans le secteur. Le PDG d'OpenAI, Sam Altman, a déclaré en 2023 que l'entraînement de GPT-4 avait coûté plus de 100 millions de dollars, et Dario Amodei a ensuite affirmé que les modèles de pointe pourraient coûter jusqu'à 1 milliard de dollars, projetant 10 à 100 Md$ pour le pré-entraînement d'ici 2026-2027. Ricursive cite également des informations selon lesquelles Reflection aurait accepté de dépenser environ 150 M$ par mois en puissance de calcul via SpaceX Colossus.
Le briefing
La semaine tech, en un seul e-mail.
Les dépêches qui méritent votre temps, chaque semaine. Désinscription à tout moment.