Roteamento de tarefas para agents em produção
Kun Chen · @kunchenguid140,8 mil visualizações no X
Este projeto substitui o modelo que um orquestrador usa para enviar cada tarefa ao agent mais adequado. Com o Jev fazendo esse roteamento em produção, a qualidade das escolhas se manteve no nível do modelo anterior, com resposta em cerca de 200 ms e custo e tempo bem menores.
O que o Jev decide aqui?
Para cada tarefa recebida, o Jev escolhe qual agent deve executá-la (Choice).
Qual foi o resultado?
Em 25 tarefas, igualou o roteamento do modelo anterior em cerca de 200 ms, com custo cerca de 71% menor e 90% mais rápido.
Por que isso importa?
Roteamento é uma decisão que acontece antes de todo o resto, então a latência dela se soma a cada tarefa. Trocar um modelo generativo por um julgamento estruturado nesse ponto reduz a espera sem mexer nos agents que fazem o trabalho de verdade.
O mesmo padrão aparece em atendimento, onde o ticket precisa ir para a fila certa, e em plataformas com vários fluxos automatizados. O cuidado é validar com um conjunto de tarefas reais antes de trocar, como foi feito aqui, e continuar medindo depois, porque a mistura de tarefas muda com o tempo.
Post original
Kun Chen
@kunchenguid
alright - just got Jev deployed for a real production use case, which now performs at fable level quality but 10x faster and saves a ton of money context - a powerful capability of firstmate is that as an orchestrator it intelligently routes each task to an appropriate agent
