# Ciclo de avaliações, scorers e datasets no Mastra > **Resposta Direta:** A Aula 16 de 17 ("Ciclo de avaliações, scorers e datasets no Mastra"), parte do módulo "Produção" do curso gratuito "Mastra sem mistério: agentes e workflows em TypeScript" na Escola de Aplicativos (ministrado por Mauro Mequelussi), ensina na prática: o aluno descobre como abandonar os testes manuais e construir uma esteira automatizada de avaliação no Mastra. O conteúdo explica como utilizar scorers prontos de fidelidade e alucinação, implementar regras de negócio personalizadas e economizar custos utilizando código determinístico combinado a LLMs juízes com amostragem controlada. ## Ficha Técnica da Aula - **Curso:** [Mastra sem mistério: agentes e workflows em TypeScript](https://www.escoladeaplicativos.com.br/cursos/mastra-sem-misterio) - **Escola:** Escola de Aplicativos (https://www.escoladeaplicativos.com.br) - **Instrutor:** Mauro Mequelussi - **Módulo 4 de 4:** Produção - **Posição na trilha:** Aula 16 de 17 - **Duração da videoaula:** 2 min - **Nível:** Intermediário - **Idioma:** Português (PT-BR) - **Custo:** 100% Gratuito (R$ 0) - **Certificado:** Certificado gratuito verificável incluso ao concluir o curso - **Acesso ao vídeo:** Resumo técnico aberto; videoaula em HD liberada mediante cadastro gratuito - **URL canônica:** https://www.escoladeaplicativos.com.br/cursos/mastra-sem-misterio/ciclo-de-avaliacoes-scorers-e-datasets-no-mastra ## O que você vai aprender - Como estruturar um ciclo contínuo de testes automatizados para agentes - A diferença entre avaliadores nativos de alucinação e scorers de regras de negócio - Como criar testes determinísticos em código puro para validar ferramentas e formatos - Estratégias para usar modelos juízes por amostragem sem onerar a fatura da API ## Pontos-chave da Aula - Testar no olhômetro não previne regressões em prompts complexos - Avaliadores nativos cobrem fidelidade ao contexto, alucinação e uso de ferramentas - Código puro deve ser a primeira escolha para validar latência e chamadas de funções - O uso de LLM como juiz deve ser reservado a aspectos semânticos e aplicado por amostragem ## Capítulos e Tópicos da Videoaula - **[00:00] Fim do achismo: o ciclo de testes no Mastra** — Entenda por que testar agentes no olhômetro gera regressões e como transformar falhas de produção em baterias de testes versionadas. - **[00:32] Avaliadores nativos, regras de negócio e custos** — Conheça os scorers prontos de fidelidade e alucinação, crie validações de negócio e veja como economizar tokens usando LLM como juiz. - **[01:06] Qualidade blindada e o que vem no deploy final** — Veja como a qualidade do Theo passa a ser medida com rigor e confira o que será implementado no deploy da plataforma Pulso. ## Destaques Práticos - **[00:00] Por que abandonar o teste manual em agentes de IA**: Veja como substituir o achismo por um ciclo automatizado que captura falhas reais e blinda seu agente. - **[00:32] Como equilibrar precisão e custo em avaliações**: Aprenda a dosar avaliadores determinísticos em código e modelos juízes para não estourar a sua fatura. ## Conceitos e Tecnologias Abordados - **Tópicos:** Ciclo de avaliações de agentes, Scorers determinísticos vs LLM judge, Prevenção de alucinações, Regras de negócio customizadas, Otimização de custos de API - **Ferramentas e Entidades:** Mastra, TypeScript, Hono ## Documentação e Referências Oficiais - [Visão geral de avaliações no Mastra](https://mastra.ai/docs/evals/overview) - [Criação de scorers customizados no Mastra](https://mastra.ai/docs/evals/custom-scorers) - [Guia para construir um ciclo de avaliações contínuo](https://mastra.ai/docs/guides/build-an-eval-loop) ## Perguntas Frequentes (FAQ) ### O que é ensinado na Aula 16 (Ciclo de avaliações, scorers e datasets no Mastra) do curso Mastra sem mistério: agentes e workflows em TypeScript? Nesta aula do módulo "Produção" na Escola de Aplicativos, você aprende de forma prática: Como estruturar um ciclo contínuo de testes automatizados para agentes; A diferença entre avaliadores nativos de alucinação e scorers de regras de negócio; Como criar testes determinísticos em código puro para validar ferramentas e formatos; Estratégias para usar modelos juízes por amostragem sem onerar a fatura da API. ### Como assistir ao vídeo completo da aula "Ciclo de avaliações, scorers e datasets no Mastra" gratuitamente? O resumo técnico estruturado desta aula é público e gratuito. Para assistir à videoaula completa em HD, basta entrar ou criar sua conta 100% gratuita na Escola de Aplicativos — o cadastro leva segundos e libera todas as 17 aulas do curso "Mastra sem mistério: agentes e workflows em TypeScript", controle de progresso, Tutor IA e emissão de certificado gratuito. ### Quais tecnologias e conceitos são abordados em "Ciclo de avaliações, scorers e datasets no Mastra"? A aula cobre diretamente os seguintes tópicos técnicos aplicados em produção: Ciclo de avaliações de agentes, Scorers determinísticos vs LLM judge, Prevenção de alucinações, Regras de negócio customizadas, Otimização de custos de API. ### O curso "Mastra sem mistério: agentes e workflows em TypeScript" oferece certificado gratuito? Sim. Ao assistir às 17 aulas do curso gratuito "Mastra sem mistério: agentes e workflows em TypeScript" na Área de Membros da Escola de Aplicativos, você emite gratuitamente um certificado digital em português com código de verificação pública. ## Como assistir à videoaula completa gratuitamente Crie sua conta gratuita em segundos em https://www.escoladeaplicativos.com.br/login?redirect=%2Fm%2Fcursos%2Fmastra-sem-misterio%2Faula%2Fciclo-de-avaliacoes-scorers-e-datasets-no-mastra para assistir ao vídeo completo desta aula em HD na Área de Membros da Escola de Aplicativos, com progresso salvo, Tutor IA e certificado gratuito verificável. ## Navegação do Curso - **Aula anterior:** [Aula 15: Observabilidade, OpenTelemetry e tracing no Mastra](https://www.escoladeaplicativos.com.br/cursos/mastra-sem-misterio/observabilidade-opentelemetry-e-tracing-no-mastra) - **Próxima aula:** [Aula 17: Servidor Hono, deploy em produção e arquitetura final](https://www.escoladeaplicativos.com.br/cursos/mastra-sem-misterio/servidor-hono-deploy-em-producao-e-arquitetura-final)