Was passiert ist
Eine Forschungsgruppe bei Nvidia vertritt die Ansicht, dass große Sprachmodelle die volle Länge ihrer Kontextfenster häufig gar nicht nutzen müssen, wie The Decoder berichtete. Die Forscher beschreiben langen Kontext als langsam, teuer und fehleranfällig. Stattdessen schlagen sie einen Ansatz vor, der Informationen komprimiert und abruft, anstatt alles gleichzeitig im Blick zu behalten.
In den Tests des Teams erzielten zwei günstigere Methoden im Allgemeinen ähnliche Ergebnisse, wie wenn man einem Modell den gesamten Kontext zur Verfügung stellt. Die eine fasste Material in regelmäßigen Abständen zusammen, die andere führte gezielte Stichwortsuchen durch, um relevante Passagen herauszusuchen. Beide erreichten ähnliche Ergebnisse bei einem kleinen Bruchteil der Kosten. Die Gruppe regt zudem eine neue Kategorie von Modellen an, die mit kurzen Notizen statt mit langem Kontext arbeiten.
Hintergrund
Das Kontextfenster eines Modells fungiert als sein Arbeitsgedächtnis und umfasst das gesamte Material, das es bei der Erstellung einer Antwort berücksichtigen kann. Diese Kapazität ist rasant gewachsen. GPT-4 erschien im März 2023 mit 8.192 Tokens, während GPT 5.6 Sol heute rund eine Million verarbeitet, etwa 120-mal so viele, genug für Tolstois Krieg und Frieden.
Das Briefing
Die Tech-Woche in einer E-Mail.
Die lesenswerten Beiträge der Woche. Jederzeit abbestellbar.
