事件经过
据The Decoder报道,英伟达的一个研究小组认为,大语言模型往往无需用满其上下文窗口的全部长度。研究人员称,长上下文速度慢、成本高且容易出错。他们提出了另一种思路:对信息进行压缩和检索,而不是把所有内容同时放在模型眼前。
在该团队的测试中,两种成本更低的方法总体上与向模型提供完整上下文的表现相当。一种方法是定期对材料进行摘要,另一种是通过有针对性的关键词搜索调出相关段落。两种方法都以很小一部分成本取得了相近的结果。该小组还提出了一类新型模型,其设计思路是依靠简短笔记而非冗长上下文来工作。
背景
模型的上下文窗口相当于它的工作记忆,涵盖其在生成回答时可以参考的全部材料。这一容量扩张迅速。GPT-4于2023年3月发布时支持8,192个token,而GPT 5.6 Sol如今可处理约100万个token,约为前者的120倍,足以容纳托尔斯泰的《战争与和平》。
简报
一封邮件,尽览一周科技要闻。
每周精选值得一读的报道。可随时退订。
