Code review que só chama o LLM quando o diff é suspeito
Lior Shkiller · @liorshkiller243,1 mil visualizações no X
Fluxo de code review que pontua o diff bruto do git com o Jev e só aciona um LLM quando algo é sinalizado. Nos dados de revisão da equipe, não houve falsos positivos, e o processo ficou cerca de 50 vezes mais rápido e 100 vezes mais barato que um ensemble de LLMs, que ainda pegou mais bugs.
O que o Jev decide aqui?
Para cada diff, o Jev dá uma nota que indica se há algo suspeito o bastante para acionar a revisão detalhada por LLM.
Qual foi o resultado?
Zero falsos positivos nos dados de revisão; cerca de 50x mais rápido e 100x mais barato que o ensemble de GLM, Grok e Gemini; o Jev pegou cerca de 3 em cada 4 bugs que o ensemble encontrou.
Por que isso importa?
Este caso mostra bem a troca real: o filtro rápido não substitui a revisão completa, mas decide quando ela vale a pena. Com zero falsos positivos, o time só gasta tempo e dinheiro com diffs que de fato merecem atenção.
O padrão de triagem antes do modelo caro serve para moderação, análise de contratos e revisão de tickets. Cuidado: como cerca de um em cada quatro bugs passou, defina onde essa perda é aceitável e mantenha revisão completa em código crítico, como pagamentos e autenticação.
Post original
Lior Shkiller
@liorshkiller
Ok, at first I thought @typesafeai was a bit overhyped because essentially "there is nothing new" in doing json schema predictions. After seeing all the buzz around it, I wanted to take it for a spin as well so I took one of our internal @scriptdotit workflows for automated
