क्या हुआ
The Decoder की रिपोर्ट के मुताबिक, Nvidia के एक शोध समूह का तर्क है कि बड़े लैंग्वेज मॉडल को अक्सर अपनी कॉन्टेक्स्ट विंडो की पूरी लंबाई इस्तेमाल करने की ज़रूरत ही नहीं होती। शोधकर्ता लंबे कॉन्टेक्स्ट को धीमा, महँगा और गलतियों की संभावना वाला बताते हैं। इसके बजाय, वे ऐसा तरीका सुझाते हैं जिसमें सारी जानकारी को एक साथ सामने रखने की जगह उसे संपीड़ित किया जाता है और ज़रूरत पड़ने पर वापस निकाला जाता है।
टीम के परीक्षणों में दो सस्ते तरीके आम तौर पर उतना ही अच्छा प्रदर्शन करते दिखे, जितना मॉडल को उसका पूरा कॉन्टेक्स्ट देने पर होता है। एक तरीके में सामग्री का नियमित अंतराल पर सारांश बनाया जाता है, जबकि दूसरे में प्रासंगिक अंश खोज निकालने के लिए लक्षित कीवर्ड सर्च चलाई जाती है। दोनों ने लागत के एक छोटे हिस्से में मिलते-जुलते नतीजे हासिल किए। समूह ने ऐसे मॉडलों की एक नई श्रेणी का भी सुझाव दिया है, जो लंबे कॉन्टेक्स्ट के बजाय छोटे नोट्स के आधार पर काम करने के लिए बनाए जाएँ।
पृष्ठभूमि
किसी मॉडल की कॉन्टेक्स्ट विंडो उसकी वर्किंग मेमोरी की तरह काम करती है, जिसमें वह सारी सामग्री आती है जिस पर वह जवाब तैयार करते समय विचार कर सकता है। यह क्षमता तेज़ी से बढ़ी है। GPT-4 मार्च 2023 में 8,192 टोकन के साथ आया था, जबकि GPT 5.6 Sol अब लगभग दस लाख टोकन संभाल लेता है, यानी करीब 120 गुना ज़्यादा, जो Tolstoy की War and Peace को समेटने के लिए काफ़ी है।
ब्रीफ़िंग
टेक का पूरा सप्ताह, एक ईमेल में।
हर सप्ताह वे रिपोर्ट्स जो आपके समय के लायक हैं। कभी भी अनसब्सक्राइब करें।
