何が起きたのか
Nvidiaの研究グループは、大規模言語モデルはコンテキストウィンドウの全長を使う必要がないことが多いと主張している、とThe Decoderが報じた。研究者らは、長いコンテキストは遅く、コストがかさみ、誤りも起きやすいと指摘する。そのうえで、すべての情報を一度に保持し続けるのではなく、情報を圧縮して検索する手法を提案している。
チームのテストでは、2つの低コストな手法が、モデルに全文脈を与えた場合と概ね同等の性能を示した。1つは一定間隔で内容を要約する方法、もう1つは対象を絞ったキーワード検索で関連する箇所を引き出す方法だ。どちらも、コストをごくわずかに抑えながら同様の結果に達した。研究グループはさらに、長い文脈ではなく短いメモをもとに動作するよう設計された、新しいカテゴリのモデルも提案している。
背景
モデルのコンテキストウィンドウは作業記憶のような役割を果たし、回答を生成する際に考慮できるすべての情報を含む。その容量は急速に拡大してきた。GPT-4は2023年3月に8,192トークンで登場したが、現在のGPT 5.6 Solはおよそ100万トークンを扱える。約120倍で、トルストイの『戦争と平和』が収まる規模だ。
ブリーフィング
1週間のテックニュースを1通のメールで。
読む価値のある記事を毎週お届けします。配信停止はいつでも可能です。
