क्या हुआ
Ricursive Intelligence, जो हार्डवेयर, सॉफ़्टवेयर और मॉडलों में एक साथ AI विकसित करने वाली लैब है, ने Ripple-65B Preview जारी किया है। यह एक ओपन-वेट लैंग्वेज मॉडल है जिसे कंपनी ने शुरू से ट्रेन किया है, Ricursive ने बताया। कंपनी इसे उस प्रोप्राइटरी मॉडल का सामान्य-उद्देश्य संस्करण बताती है जो उसके AI चिप डिज़ाइन प्लेटफ़ॉर्म को चलाता है। प्रीट्रेनिंग में 12 ट्रिलियन टोकन इस्तेमाल हुए, और मॉडल 1M टोकन तक का कॉन्टेक्स्ट संभाल सकता है।
TerminalBench 2.1 पर मॉडल ने 80.52 स्कोर किया, जिसे कंपनी किसी भी अमेरिकी ओपन-वेट मॉडल का सर्वश्रेष्ठ नतीजा बताती है। Ricursive ने इसकी तुलना बड़े अमेरिकी ओपन-वेट सिस्टम से की: Reflection Beam 501B ने 80.1 स्कोर किया, Meta Muse Spark Open 816B ने 76.4 हासिल किया, जबकि NVIDIA Nemotron 3 Ultra 550B का स्कोर 56.4 और Thinking Machines Inkling 975B का 63.8 रहा। मॉडल OpenRouter, Hugging Face, GMI Cloud और Together AI के ज़रिए उपलब्ध है, और Fireworks पर यह उसी दिन बाद में आने वाला है।
Ricursive ने कुल विकास लागत 3.2 करोड़ डॉलर बताई, जिसमें शुरू से किया गया पूरा R&D शामिल है, और अनुमान लगाया कि यह पिछले ओपन-वेट लीडर की लागत का लगभग दसवाँ हिस्सा है। कंपनी ने Mixture-of-Experts के बजाय डेंस Transformer चुना और ट्रेनिंग के दौरान 40% MFU की जानकारी दी। कंपनी ने कहा कि उसने यह स्कोर 1.4M रीइन्फोर्समेंट लर्निंग रोलआउट के साथ हासिल किया, जो Reflection Beam से लगभग 70 गुना कम है, और पोस्ट-ट्रेनिंग डेटा खरीदने के बजाय अपना सिंथेटिक डेटा खुद बनाया।
पृष्ठभूमि
कंपनी ने अपने बजट की तुलना इंडस्ट्री की बताई गई लागतों से की। OpenAI के CEO Sam Altman ने 2023 में कहा था कि GPT-4 की ट्रेनिंग पर 10 करोड़ डॉलर से अधिक खर्च हुआ, और Dario Amodei ने बाद में कहा कि फ्रंटियर मॉडलों की लागत 1 अरब डॉलर तक हो सकती है, तथा 2026 से 2027 तक प्रीट्रेनिंग के लिए 10-100 अरब डॉलर का अनुमान लगाया। Ricursive ने उन रिपोर्टों का भी हवाला दिया कि Reflection ने SpaceX Colossus का उपयोग करते हुए कंप्यूट पर हर महीने लगभग 15 करोड़ डॉलर खर्च करने पर सहमति जताई है।
ब्रीफ़िंग
टेक का पूरा सप्ताह, एक ईमेल में।
हर सप्ताह वे रिपोर्ट्स जो आपके समय के लायक हैं। कभी भी अनसब्सक्राइब करें।