Ce qui s'est passé
Un groupe de recherche de Nvidia soutient que les grands modèles de langage n'ont souvent pas besoin d'exploiter toute la longueur de leur fenêtre de contexte, a rapporté The Decoder. Les chercheurs décrivent le contexte long comme lent, coûteux et sujet aux erreurs. Ils proposent à la place une approche qui compresse et récupère l'information plutôt que de la garder entièrement sous les yeux en permanence.
Lors des tests de l'équipe, deux méthodes moins coûteuses ont généralement obtenu des performances équivalentes à celles d'un modèle disposant de l'intégralité de son contexte. L'une résumait les contenus à intervalles réguliers, l'autre effectuait des recherches ciblées par mots-clés pour faire remonter les passages pertinents. Les deux ont atteint des résultats similaires pour une petite part du coût. Le groupe suggère également la création d'une nouvelle catégorie de modèles conçus pour travailler à partir de brèves notes plutôt que d'un contexte étendu.
Contexte
La fenêtre de contexte d'un modèle joue le rôle de mémoire de travail : elle couvre tout le matériel qu'il peut prendre en compte pour produire une réponse. Cette capacité a augmenté rapidement. GPT-4 a fait ses débuts en mars 2023 avec 8192 tokens, tandis que GPT 5.6 Sol en gère aujourd'hui environ un million, soit près de 120 fois plus, de quoi contenir Guerre et Paix de Tolstoï.
Le briefing
La semaine tech, en un seul e-mail.
Les dépêches qui méritent votre temps, chaque semaine. Désinscription à tout moment.
