O que aconteceu
Um grupo de pesquisa da Nvidia afirma que os grandes modelos de linguagem muitas vezes não precisam usar toda a extensão de suas janelas de contexto, segundo o The Decoder. Os pesquisadores descrevem o contexto longo como lento, caro e propenso a erros. Em vez disso, propõem uma abordagem que comprime e recupera informações, em vez de mantê-las todas à vista ao mesmo tempo.
Nos testes da equipe, dois métodos mais baratos tiveram, em geral, desempenho equivalente ao de fornecer ao modelo todo o seu contexto. Um resumia o material em intervalos regulares, e o outro executava buscas direcionadas por palavras-chave para recuperar trechos relevantes. Ambos chegaram a resultados semelhantes por uma pequena parcela do custo. O grupo também sugere uma nova categoria de modelos projetados para trabalhar a partir de notas curtas, em vez de contexto extenso.
Contexto
A janela de contexto de um modelo funciona como sua memória de trabalho, abrangendo todo o material que ele pode considerar ao produzir uma resposta. Essa capacidade se expandiu rapidamente. O GPT-4 estreou em março de 2023 com 8.192 tokens, enquanto o GPT 5.6 Sol hoje lida com cerca de um milhão, aproximadamente 120 vezes mais e o suficiente para comportar Guerra e Paz, de Tolstói.
O briefing
A semana em tecnologia, em um só e-mail.
As reportagens que valem o seu tempo, toda semana. Cancele quando quiser.
