Что произошло
Исследовательская группа Nvidia утверждает, что большим языковым моделям зачастую не нужно использовать контекстное окно на всю его длину, сообщило издание The Decoder. Исследователи называют длинный контекст медленным, дорогим и склонным к ошибкам. Вместо него они предлагают подход, при котором информация сжимается и извлекается по мере необходимости, а не держится целиком в поле зрения одновременно.
В тестах команды два более дешёвых метода в целом показали результаты на уровне полного контекста, предоставленного модели. Один из них регулярно составлял резюме материала, другой выполнял целевой поиск по ключевым словам, чтобы находить нужные фрагменты. Оба метода достигали схожих результатов при небольшой доле затрат. Группа также предлагает новую категорию моделей, рассчитанных на работу с краткими заметками вместо расширенного контекста.
Контекст
Контекстное окно модели служит ей рабочей памятью: оно охватывает весь материал, который модель может учитывать при формировании ответа. Его объём быстро растёт. GPT-4 дебютировала в марте 2023 года с 8192 токенами, тогда как GPT 5.6 Sol сейчас обрабатывает примерно миллион — примерно в 120 раз больше, чего хватит, чтобы вместить «Войну и мир» Толстого.
Обзор
Неделя в технологиях в одном письме.
Материалы, которые стоят вашего времени, каждую неделю. Отписаться можно в любой момент.
