Ciclo de avaliações, scorers e datasets no Mastra
Por Mauro Mequelussi · Curso gratuito Mastra sem mistério: agentes e workflows em TypeScript · Português (PT-BR)
Resposta direta · O que esta aula resolve
A Aula 16 de 17 ("Ciclo de avaliações, scorers e datasets no Mastra"), parte do módulo "Produção" do curso gratuito "Mastra sem mistério: agentes e workflows em TypeScript" na Escola de Aplicativos (ministrado por Mauro Mequelussi), ensina na prática: o aluno descobre como abandonar os testes manuais e construir uma esteira automatizada de avaliação no Mastra. O conteúdo explica como utilizar scorers prontos de fidelidade e alucinação, implementar regras de negócio personalizadas e economizar custos utilizando código determinístico combinado a LLMs juízes com amostragem controlada.
Crie sua conta grátis para assistir a esta videoaula em HD
O resumo técnico e os capítulos abaixo são abertos para consulta. Crie sua conta 100% gratuita em segundos para liberar todas as 17 videoaulas em HD, controle automático de progresso, Tutor IA e certificado gratuito verificável.
- R$ 0 · Sem cartão de crédito
- Tutor IA tira-dúvidas da aula
- Certificado gratuito incluso
O que você vai aprender
- Como estruturar um ciclo contínuo de testes automatizados para agentes
- A diferença entre avaliadores nativos de alucinação e scorers de regras de negócio
- Como criar testes determinísticos em código puro para validar ferramentas e formatos
- Estratégias para usar modelos juízes por amostragem sem onerar a fatura da API
Pontos-chave da aula
- Testar no olhômetro não previne regressões em prompts complexos
- Avaliadores nativos cobrem fidelidade ao contexto, alucinação e uso de ferramentas
- Código puro deve ser a primeira escolha para validar latência e chamadas de funções
- O uso de LLM como juiz deve ser reservado a aspectos semânticos e aplicado por amostragem
Capítulos e roteiro técnico da aula
3 capítulos minutados- 00:00
Fim do achismo: o ciclo de testes no Mastra
Entenda por que testar agentes no olhômetro gera regressões e como transformar falhas de produção em baterias de testes versionadas.
- 00:32
Avaliadores nativos, regras de negócio e custos
Conheça os scorers prontos de fidelidade e alucinação, crie validações de negócio e veja como economizar tokens usando LLM como juiz.
- 01:06
Qualidade blindada e o que vem no deploy final
Veja como a qualidade do Theo passa a ser medida com rigor e confira o que será implementado no deploy da plataforma Pulso.
Momentos de destaque na prática
Por que abandonar o teste manual em agentes de IA
Veja como substituir o achismo por um ciclo automatizado que captura falhas reais e blinda seu agente.
Como equilibrar precisão e custo em avaliações
Aprenda a dosar avaliadores determinísticos em código e modelos juízes para não estourar a sua fatura.
Notas de aula e guia de estudo
Testar agentes de IA apenas conversando no chat gera falsas certezas e expõe a aplicação a regressões críticas a cada ajuste de prompt. Nesta aula, você aprende a montar o ciclo de avaliação do Mastra, transformando falhas reais ocorridas em produção em baterias de testes versionadas e automatizadas. Assim, qualquer melhoria no agente Theo é validada com critérios técnicos antes de chegar aos usuários.
O que você vai aprender
- Como estruturar um ciclo contínuo de testes automatizados para agentes
- A diferença entre avaliadores nativos de alucinação e scorers de regras de negócio
- Como criar testes determinísticos em código puro para validar ferramentas e formatos
- Estratégias para usar modelos juízes por amostragem sem onerar a fatura da API
Pontos-chave
- Testar no olhômetro não previne regressões em prompts complexos
- Avaliadores nativos cobrem fidelidade ao contexto, alucinação e uso de ferramentas
- Código puro deve ser a primeira escolha para validar latência e chamadas de funções
- O uso de LLM como juiz deve ser reservado a aspectos semânticos e aplicado por amostragem