Informe de inteligencia

Nvidia: resúmenes y búsqueda pueden sustituir las ventanas de contexto de la IA

Investigadores de Nvidia afirman que los resúmenes periódicos y las búsquedas por palabras clave suelen igualar los resultados del contexto completo a una fracción del coste.

INSIGHTEX Editorial Desk

2 min de lectura

Nvidia: resúmenes y búsqueda pueden sustituir las ventanas de contexto de la IAInforme de inteligencia

Qué ha ocurrido

Un grupo de investigación de Nvidia sostiene que los grandes modelos de lenguaje con frecuencia no necesitan utilizar toda la extensión de sus ventanas de contexto, según informó The Decoder. Los investigadores describen el contexto largo como lento, costoso y propenso a errores. En su lugar, proponen un enfoque que comprime y recupera la información en lugar de mantenerla toda a la vista a la vez.

En las pruebas del equipo, dos métodos más económicos rindieron por lo general a la par que darle al modelo todo su contexto. Uno resumía el material a intervalos regulares, y el otro realizaba búsquedas específicas por palabras clave para sacar a la luz los pasajes relevantes. Ambos alcanzaron resultados similares con una pequeña parte del coste. El grupo también sugiere una nueva categoría de modelos diseñados para trabajar a partir de notas breves en lugar de contextos extensos.

Contexto

La ventana de contexto de un modelo actúa como su memoria de trabajo, y abarca todo el material que puede tener en cuenta al elaborar una respuesta. Esa capacidad se ha ampliado con rapidez. GPT-4 debutó en marzo de 2023 con 8,192 tokens, mientras que GPT 5.6 Sol maneja ahora aproximadamente un millón, unas 120 veces más y suficiente para albergar Guerra y paz de Tolstói.

Perfil de NVIDIA

Perfil de handles

FuenteThe Decoder

El boletín

La semana tecnológica, en un solo correo.

Las crónicas que merecen su tiempo, cada semana. Cancele la suscripción cuando quiera.