Relatório de inteligência

Nvidia: resumos e busca podem substituir janelas de contexto gigantes em IA

Pesquisadores da Nvidia relatam que resumos periódicos e buscas por palavras-chave geralmente igualaram os resultados do contexto completo a uma fração do custo.

INSIGHTEX Editorial Desk

2 min de leitura

Nvidia: resumos e busca podem substituir janelas de contexto gigantes em IARelatório de inteligência

O que aconteceu

Um grupo de pesquisa da Nvidia afirma que os grandes modelos de linguagem muitas vezes não precisam usar toda a extensão de suas janelas de contexto, segundo o The Decoder. Os pesquisadores descrevem o contexto longo como lento, caro e propenso a erros. Em vez disso, propõem uma abordagem que comprime e recupera informações, em vez de mantê-las todas à vista ao mesmo tempo.

Nos testes da equipe, dois métodos mais baratos tiveram, em geral, desempenho equivalente ao de fornecer ao modelo todo o seu contexto. Um resumia o material em intervalos regulares, e o outro executava buscas direcionadas por palavras-chave para recuperar trechos relevantes. Ambos chegaram a resultados semelhantes por uma pequena parcela do custo. O grupo também sugere uma nova categoria de modelos projetados para trabalhar a partir de notas curtas, em vez de contexto extenso.

Contexto

A janela de contexto de um modelo funciona como sua memória de trabalho, abrangendo todo o material que ele pode considerar ao produzir uma resposta. Essa capacidade se expandiu rapidamente. O GPT-4 estreou em março de 2023 com 8.192 tokens, enquanto o GPT 5.6 Sol hoje lida com cerca de um milhão, aproximadamente 120 vezes mais e o suficiente para comportar Guerra e Paz, de Tolstói.

Perfil da NVIDIA

Perfil da handles

FonteThe Decoder

O briefing

A semana em tecnologia, em um só e-mail.

As reportagens que valem o seu tempo, toda semana. Cancele quando quiser.