Roteador de modelos em produção com limiar de confiança por custo
corent · @corentAI109,2 mil visualizações no X
Este projeto usa o Jev antes da geração para escolher o caminho de modelo mais adequado, considerando o prompt, o tipo de carga e um patamar de qualidade. Quanto mais cara a tarefa, mais alta a confiança exigida para aceitar a escolha, num catálogo com mais de mil modelos.
O que o Jev decide aqui?
O Jev escolhe o caminho de modelo para cada pedido, e a escolha só é aceita se a confiança passar de um limiar que sobe conforme o custo da tarefa.
Qual foi o resultado?
Catálogo com mais de 1.000 modelos; limiares de confiança mais rígidos para jobs caros, como um vídeo de US$ 2, do que para uma imagem de 2 centavos.
Por que isso importa?
A ideia mais útil aqui é usar a confiança da resposta como parte da regra de negócio. Errar a escolha numa tarefa barata custa pouco; errar numa tarefa cara custa muito. Ajustar o limiar por faixa de custo transforma a probabilidade devolvida pelo modelo em política explícita.
O mesmo raciocínio vale para aprovação automática de reembolsos, moderação e qualquer fluxo com consequências de pesos diferentes. O cuidado é definir o que acontece abaixo do limiar: cair para uma opção padrão segura ou pedir revisão humana, em vez de simplesmente seguir com a escolha incerta.