Adoção em shadow mode em 69 pontos de decisão
Yonatan Gross · @yonyoniz12,8 mil visualizações no X
Estratégia de adoção que mapeou 69 pontos de decisão de um sistema e colocou o Jev em shadow mode ao lado de cada um. As respostas do Jev são comparadas com as regras e os LLMs que já estão em produção, e só os pontos onde ele vence são promovidos, sempre atrás de uma feature flag.
O que o Jev decide aqui?
Em cada ponto mapeado, o Jev toma a mesma decisão que a regra ou o LLM atual, sem efeito real, para que as duas respostas sejam comparadas.
Qual foi o resultado?
69 pontos de decisão mapeados e avaliados em shadow mode.
Por que isso importa?
Trocar lógica de produção por um modelo novo de uma vez é arriscado. O shadow mode permite medir o desempenho com tráfego real sem afetar o usuário, e a feature flag deixa reverter em segundos se algo sair do esperado.
É um roteiro útil para qualquer SaaS que já tem regras de negócio e prompts espalhados pelo código. O primeiro passo, inventariar onde o sistema toma decisões, já costuma revelar muita lógica duplicada. O cuidado é definir antes qual métrica decide quem vence em cada ponto, para a comparação não virar opinião.