Compactação de contexto dando nota a cada tool call
Matt Van Horn · @mvanhorn104,9 mil visualizações no X
Este projeto compacta o contexto de agents dando uma nota a cada tool call do histórico e descartando o que não agrega, em vez de pedir a um modelo que resuma a conversa. Um plugin para Claude citado em uma compilação reduziu uma sessão de um milhão de tokens para 86 mil em um segundo.
O que o Jev decide aqui?
O Jev atribui uma nota de utilidade a cada tool call do histórico (Score), e as de nota baixa são removidas.
Qual foi o resultado?
Uma sessão caiu de 1 milhão de tokens para 86.000 em um segundo, segundo uma compilação que cita um plugin para Claude.
Por que isso importa?
Resumir o histórico com um modelo generativo é lento e pode reescrever detalhes importantes. Dar nota item a item e remover o que tem pouco valor preserva o texto original do que fica, e o código decide o corte com base num número.
O padrão serve para agents de programação, assistentes com longas sessões e qualquer sistema que acumula logs. O cuidado é o mesmo apontado por avaliações críticas desse tipo de compactação: comparar com uma regra simples e observar se o agent passa a perder informação necessária depois de várias rodadas.
Post original
Matt Van Horn
@mvanhorn
TL;DR of my new article: WTF is Jev by @typesafeai, and the 9 things people are already building with it. The thesis: 𝗮 𝗰𝗼-𝗰𝗿𝗲𝗮𝘁𝗼𝗿 𝗼𝗳 𝗖𝗵𝗮𝘁𝗚𝗣𝗧 𝘀𝗽𝗲𝗻𝘁 𝘁𝘄𝗼 𝘆𝗲𝗮𝗿𝘀 𝗶𝗻 𝘀𝘁𝗲𝗮𝗹𝘁𝗵 𝗼𝗻 𝗮 𝗺𝗼𝗱𝗲𝗹 𝘁𝗵𝗮𝘁 𝗰𝗮𝗻𝗻𝗼𝘁 𝘄𝗿𝗶𝘁𝗲 𝗮