تقرير تحليلي

نفيديا: الملخصات والبحث قد يغنيان عن نوافذ السياق العملاقة

باحثو Nvidia: الملخصات الدورية وعمليات البحث بالكلمات المفتاحية حققت غالبًا نتائج تضاهي السياق الكامل بكلفة أقل بكثير.

INSIGHTEX Editorial Desk

مدة القراءة: 2 د

نفيديا: الملخصات والبحث قد يغنيان عن نوافذ السياق العملاقةتقرير تحليلي

ما الذي حدث

تذهب مجموعة بحثية في Nvidia إلى أن النماذج اللغوية الكبيرة لا تحتاج في كثير من الأحيان إلى استخدام كامل طول نوافذ السياق لديها، بحسب ما نقله موقع The Decoder. ويصف الباحثون السياق الطويل بأنه بطيء ومكلف وعرضة للأخطاء. وبدلًا من ذلك، يقترحون نهجًا يضغط المعلومات ويسترجعها بدل إبقائها جميعًا في مجال الرؤية في آن واحد.

وفي اختبارات الفريق، أدّت طريقتان أقل كلفة أداءً مكافئًا عمومًا لأداء النموذج حين يُمنح سياقه بالكامل. تلخّص الأولى المادة على فترات منتظمة، بينما تجري الثانية عمليات بحث مستهدفة بالكلمات المفتاحية لاستخراج المقاطع ذات الصلة. وقد حققت الطريقتان نتائج متقاربة بنسبة ضئيلة من الكلفة. كما تقترح المجموعة فئة جديدة من النماذج مصممة للعمل انطلاقًا من ملاحظات موجزة بدلًا من السياق الممتد.

السياق

تعمل نافذة السياق في النموذج بمثابة ذاكرة عمل له، إذ تغطي كل المواد التي يمكنه أخذها في الاعتبار أثناء إنتاج الاستجابة. وقد توسعت هذه السعة بسرعة. فقد ظهر GPT-4 في مارس 2023 بسعة 8,192 رمزًا، بينما يتعامل GPT 5.6 Sol اليوم مع نحو مليون رمز، أي ما يعادل 120 ضعفًا تقريبًا، وهي سعة تكفي لاستيعاب رواية «الحرب والسلام» لتولستوي.

ملف NVIDIA

ملف handles

المصدرThe Decoder

الموجز

أسبوع التقنية في رسالة واحدة.

التقارير التي تستحق وقتك، كل أسبوع. يمكنك إلغاء الاشتراك في أي وقت.