Roteador que escolhe o LLM certo para cada pedido
Duncan · @ephraimduncan113,2 mil visualizações no X
Este projeto usa o Jev para avaliar qual modelo de linguagem atende melhor cada pedido e, em seguida, encaminha a chamada para o modelo escolhido. Não há um modelo generativo intermediário conversando para decidir: a escolha sai como uma resposta tipada que o código aplica diretamente.
O que o Jev decide aqui?
O Jev avalia quais modelos disponíveis servem melhor ao pedido recebido e indica para qual encaminhar.
Por que isso importa?
Usar sempre o modelo mais caro é simples, mas desperdiça dinheiro em pedidos triviais. Usar sempre o mais barato economiza, mas falha nos pedidos difíceis. Um roteador rápido na frente permite equilibrar os dois sem adicionar uma etapa lenta de conversa.
O padrão serve para qualquer produto que chama LLMs em volume, como assistentes internos, atendimento e geração de conteúdo. O cuidado é registrar qual modelo foi escolhido em cada chamada, para conseguir auditar depois se o roteador está mandando pedidos difíceis para modelos fracos.