Rapport de veille

Nvidia : résumés et recherche pourraient remplacer les longs contextes IA

Des chercheurs de Nvidia indiquent que des résumés périodiques et des recherches par mots-clés égalent en général les résultats en contexte complet, pour une fraction du coût.

INSIGHTEX Editorial Desk

2 min de lecture

Nvidia : résumés et recherche pourraient remplacer les longs contextes IARapport de veille

Ce qui s'est passé

Un groupe de recherche de Nvidia soutient que les grands modèles de langage n'ont souvent pas besoin d'exploiter toute la longueur de leur fenêtre de contexte, a rapporté The Decoder. Les chercheurs décrivent le contexte long comme lent, coûteux et sujet aux erreurs. Ils proposent à la place une approche qui compresse et récupère l'information plutôt que de la garder entièrement sous les yeux en permanence.

Lors des tests de l'équipe, deux méthodes moins coûteuses ont généralement obtenu des performances équivalentes à celles d'un modèle disposant de l'intégralité de son contexte. L'une résumait les contenus à intervalles réguliers, l'autre effectuait des recherches ciblées par mots-clés pour faire remonter les passages pertinents. Les deux ont atteint des résultats similaires pour une petite part du coût. Le groupe suggère également la création d'une nouvelle catégorie de modèles conçus pour travailler à partir de brèves notes plutôt que d'un contexte étendu.

Contexte

La fenêtre de contexte d'un modèle joue le rôle de mémoire de travail : elle couvre tout le matériel qu'il peut prendre en compte pour produire une réponse. Cette capacité a augmenté rapidement. GPT-4 a fait ses débuts en mars 2023 avec 8192 tokens, tandis que GPT 5.6 Sol en gère aujourd'hui environ un million, soit près de 120 fois plus, de quoi contenir Guerre et Paix de Tolstoï.

Profil de NVIDIA

Profil de handles

SourceThe Decoder

Le briefing

La semaine tech, en un seul e-mail.

Les dépêches qui méritent votre temps, chaque semaine. Désinscription à tout moment.