Qué ha pasado
Ricursive Intelligence, un laboratorio que desarrolla IA de forma conjunta en hardware, software y modelos, ha lanzado Ripple-65B Preview, un modelo de lenguaje de pesos abiertos entrenado desde cero, según informó Ricursive. La compañía lo describe como una versión de propósito general de un modelo propietario que impulsa su plataforma de diseño de chips con IA. El preentrenamiento utilizó 12 billones de tokens y el modelo admite un contexto de hasta 1M de tokens.
En TerminalBench 2.1 el modelo obtuvo 80,52 puntos, lo que según la empresa es el mejor resultado de cualquier modelo de pesos abiertos de EE. UU. Ricursive lo comparó con sistemas abiertos estadounidenses de mayor tamaño: Reflection Beam 501B logró 80,1, Meta Muse Spark Open 816B alcanzó 76,4, mientras que NVIDIA Nemotron 3 Ultra 550B registró 56,4 y Thinking Machines Inkling 975B obtuvo 63,8. Se puede acceder al modelo a través de OpenRouter, Hugging Face, GMI Cloud y Together AI, y Fireworks se sumará más tarde ese mismo día.
Ricursive situó el coste total de desarrollo en 32 millones de dólares, que abarca toda la I+D desde cero, y lo estimó en aproximadamente una décima parte del coste del anterior líder de modelos abiertos. Optó por un Transformer denso en lugar de una arquitectura de mezcla de expertos (Mixture-of-Experts) y reportó un 40 % de MFU durante el entrenamiento. La compañía afirmó que alcanzó su puntuación con 1,4 millones de rollouts de aprendizaje por refuerzo, unas 70 veces menos que Reflection Beam, y que creó sus propios datos sintéticos en lugar de comprar datos de posentrenamiento.
Contexto
La empresa comparó su presupuesto con los costes que se manejan en el sector. El CEO de OpenAI, Sam Altman, dijo en 2023 que entrenar GPT-4 costó más de 100 millones de dólares, y Dario Amodei afirmó después que los modelos de frontera podrían costar hasta 1.000 millones de dólares, con una proyección de entre 10.000 y 100.000 millones de dólares para el preentrenamiento entre 2026 y 2027. Ricursive también citó informes según los cuales Reflection acordó gastar unos 150 millones de dólares al mes en cómputo con SpaceX Colossus.
El boletín
La semana tecnológica, en un solo correo.
Las crónicas que merecen su tiempo, cada semana. Cancele la suscripción cuando quiera.