Аналитический отчёт

Nvidia: резюме и поиск заменят огромные контекстные окна ИИ

Исследователи Nvidia сообщают: периодические резюме и поиск по ключевым словам обычно давали те же результаты, что и полный контекст, но при куда меньших затратах.

INSIGHTEX Editorial Desk

2 мин чтения

Nvidia: резюме и поиск заменят огромные контекстные окна ИИАналитический отчёт

Что произошло

Исследовательская группа Nvidia утверждает, что большим языковым моделям зачастую не нужно использовать контекстное окно на всю его длину, сообщило издание The Decoder. Исследователи называют длинный контекст медленным, дорогим и склонным к ошибкам. Вместо него они предлагают подход, при котором информация сжимается и извлекается по мере необходимости, а не держится целиком в поле зрения одновременно.

В тестах команды два более дешёвых метода в целом показали результаты на уровне полного контекста, предоставленного модели. Один из них регулярно составлял резюме материала, другой выполнял целевой поиск по ключевым словам, чтобы находить нужные фрагменты. Оба метода достигали схожих результатов при небольшой доле затрат. Группа также предлагает новую категорию моделей, рассчитанных на работу с краткими заметками вместо расширенного контекста.

Контекст

Контекстное окно модели служит ей рабочей памятью: оно охватывает весь материал, который модель может учитывать при формировании ответа. Его объём быстро растёт. GPT-4 дебютировала в марте 2023 года с 8192 токенами, тогда как GPT 5.6 Sol сейчас обрабатывает примерно миллион — примерно в 120 раз больше, чего хватит, чтобы вместить «Войну и мир» Толстого.

Профиль NVIDIA

Профиль handles

ИсточникThe Decoder

Обзор

Неделя в технологиях в одном письме.

Материалы, которые стоят вашего времени, каждую неделю. Отписаться можно в любой момент.