Detecção de drift contínua em harness de agents
Josh Rosen · @JoshARosen17 mil visualizações no X
Projeto que usa o Jev para detectar drift em harnesses de agents, verificando o tempo todo se o agent continua alinhado ao objetivo original. A tese é que esse monitoramento contínuo, e não o roteamento de modelos ou a checagem de tools, é o melhor uso do modelo, porque ele é rápido e barato o bastante para rodar sem parar.
O que o Jev decide aqui?
A cada passo, o Jev julga se o comportamento atual do agent está se afastando da tarefa que deveria cumprir.
Por que isso importa?
Agents longos raramente quebram de uma vez: eles escorregam aos poucos, trocando de subtarefa, repetindo ações ou esquecendo restrições. Checar isso com um LLM generativo a cada passo custa caro e deixa o loop lento, então a verificação costuma ficar de fora. Um julgamento tipado e barato torna viável vigiar todas as etapas.
O mesmo padrão serve para copilotos de SaaS, bots de atendimento e pipelines de conteúdo que rodam sozinhos por muito tempo. O cuidado é definir o que é drift de forma concreta no state (objetivo, restrições, histórico recente) e decidir antes o que acontece quando o alerta dispara: pausar, pedir revisão humana ou replanejar.