# Avalie seu RAG com Recall, Precision e MRR no SurrealDB > **Resposta Direta:** A Aula 10 de 11 ("Avalie seu RAG com Recall, Precision e MRR no SurrealDB"), parte do módulo "Qualidade e Graph RAG" do curso gratuito "SurrealDB para engenheiros de IA: RAG e agentes" na Escola de Aplicativos (ministrado por Mauro Mequelussi), ensina na prática: prática, você verá como medir a eficácia dos seus buscadores vetorial, lexical e híbrido usando métricas objetivas. Descubra por que a busca híbrida pode perder para a vetorial em top k pequenos e como corrigir falsos positivos com filtros de nota mínima. ## Ficha Técnica da Aula - **Curso:** [SurrealDB para engenheiros de IA: RAG e agentes](https://www.escoladeaplicativos.com.br/cursos/surrealdb-para-engenheiros-de-ia) - **Escola:** Escola de Aplicativos (https://www.escoladeaplicativos.com.br) - **Instrutor:** Mauro Mequelussi - **Módulo 4 de 4:** Qualidade e Graph RAG - **Posição na trilha:** Aula 10 de 11 - **Duração da videoaula:** 7 min - **Nível:** Intermediário - **Idioma:** Português (PT-BR) - **Custo:** 100% Gratuito (R$ 0) - **Certificado:** Certificado gratuito verificável incluso ao concluir o curso - **Acesso ao vídeo:** Resumo técnico aberto; videoaula em HD liberada mediante cadastro gratuito - **URL canônica:** https://www.escoladeaplicativos.com.br/cursos/surrealdb-para-engenheiros-de-ia/avalie-seu-rag-com-recall-precision-e-mrr-no-surrealdb ## O que você vai aprender - Como isolar e medir a qualidade da recuperação de documentos antes da geração da resposta. - Como criar e armazenar um golden set fortemente tipado em SurrealDB. - Como implementar funções de cálculo para Recall@k, Precision@k e MRR em SurrealQL. - Por que o RRF pode sofrer com palavras coincidentes em top k baixo e como resolver com pontuação mínima. - Como transformar rodadas de avaliação em testes de regressão automatizados salvos no banco. ## Pontos-chave da Aula - Recall@k define o teto absoluto da qualidade do RAG: o que não foi recuperado não pode ser respondido. - Tabelas tipadas no SurrealDB evitam gabaritos quebrados com links para registros inexistentes. - Média agregada pode ocultar falhas graves: sempre analise métricas no nível de perguntas individuais. - O operador RRF olha para o rank e não para a magnitude do score, o que exige cuidados com candidatos de baixa relevância. ## Capítulos e Tópicos da Videoaula - **[00:00] Por que medir a recuperação antes do prompt** — Introdução sobre a importância de avaliar se os documentos corretos foram recuperados antes de culpar o modelo da IA. - **[00:19] A necessidade de testar afirmações com dados** — Contextualização da aula para validar na prática a eficiência da busca vetorial versus busca híbrida. - **[00:33] O conceito de Recall no top k** — Explicação teórica de como o Recall@k atua como o teto de qualidade para qualquer resposta gerada por RAG. - **[01:03] Criando o golden set como tabela no SurrealDB** — Como estruturar um conjunto de gabaritos tipado no SurrealDB com garantias de integridade referencial. - **[02:23] Padronizando buscadores e métricas em SurrealQL** — Implementação de funções para busca vetorial, BM25 e RRF, além do cálculo de Recall, Precision e MRR. - **[03:42] A busca híbrida perdendo para a vetorial** — Demonstração prática de como a busca vetorial pode superar a híbrida dependendo do k escolhido. - **[04:52] Diagnóstico de erro e corte por nota mínima** — Análise de falsos positivos introduzidos pelo BM25 no RRF e como um score threshold corrige a fusão. - **[05:56] Guardando runs e boas práticas de golden set** — Transformação de avaliações em testes de regressão no banco e diretrizes para criar um bom dataset de teste. - **[06:37] Limitações da avaliação e introdução a Graph RAG** — Considerações finais sobre limitações dos testes e introdução conceitual ao Graph RAG para respostas interconectadas. ## Destaques Práticos - **[00:33] Por que o Recall é o teto de qualquer pipeline de RAG**: Se o documento certo não chega no contexto, nenhum modelo caro conserta a resposta. - **[03:42] Por que a busca híbrida perdeu para a vetorial no k=3**: A busca híbrida é sempre a melhor escolha? Os números mostram quando isso é mentira. - **[04:52] Como ruído léxico quebra o RRF e como consertar**: Descubra como uma única palavra irrelevante pode sabotar completamente a busca híbrida. ## Conceitos e Tecnologias Abordados - **Tópicos:** Avaliação de RAG, Recall no top k, Mean Reciprocal Rank (MRR), Reciprocal Rank Fusion (RRF), Golden Set, SurrealQL - **Ferramentas e Entidades:** SurrealDB, Supabase, Claude Code ## Documentação e Referências Oficiais - [Documentação de Funções Customizadas em SurrealQL](https://surrealdb.com/docs/surrealql/functions/database) - [Configuração de Analisadores e Busca Full-Text no SurrealDB](https://surrealdb.com/docs/surrealql/statements/define/analyzer) - [Criação de Índices Vetoriais e HNSW no SurrealDB](https://surrealdb.com/docs/surrealql/statements/define/indexes) ## Perguntas Frequentes (FAQ) ### O que é ensinado na Aula 10 (Avalie seu RAG com Recall, Precision e MRR no SurrealDB) do curso SurrealDB para engenheiros de IA: RAG e agentes? Nesta aula do módulo "Qualidade e Graph RAG" na Escola de Aplicativos, você aprende de forma prática: Como isolar e medir a qualidade da recuperação de documentos antes da geração da resposta.; Como criar e armazenar um golden set fortemente tipado em SurrealDB.; Como implementar funções de cálculo para Recall@k, Precision@k e MRR em SurrealQL.; Por que o RRF pode sofrer com palavras coincidentes em top k baixo e como resolver com pontuação mínima.. ### Como assistir ao vídeo completo da aula "Avalie seu RAG com Recall, Precision e MRR no SurrealDB" gratuitamente? O resumo técnico estruturado desta aula é público e gratuito. Para assistir à videoaula completa em HD, basta entrar ou criar sua conta 100% gratuita na Escola de Aplicativos — o cadastro leva segundos e libera todas as 11 aulas do curso "SurrealDB para engenheiros de IA: RAG e agentes", controle de progresso, Tutor IA e emissão de certificado gratuito. ### Quais tecnologias e conceitos são abordados em "Avalie seu RAG com Recall, Precision e MRR no SurrealDB"? A aula cobre diretamente os seguintes tópicos técnicos aplicados em produção: Avaliação de RAG, Recall no top k, Mean Reciprocal Rank (MRR), Reciprocal Rank Fusion (RRF), Golden Set, SurrealQL. ### O curso "SurrealDB para engenheiros de IA: RAG e agentes" oferece certificado gratuito? Sim. Ao assistir às 11 aulas do curso gratuito "SurrealDB para engenheiros de IA: RAG e agentes" na Área de Membros da Escola de Aplicativos, você emite gratuitamente um certificado digital em português com código de verificação pública. ## Como assistir à videoaula completa gratuitamente Crie sua conta gratuita em segundos em https://www.escoladeaplicativos.com.br/login?redirect=%2Fm%2Fcursos%2Fsurrealdb-para-engenheiros-de-ia%2Faula%2Favalie-seu-rag-com-recall-precision-e-mrr-no-surrealdb para assistir ao vídeo completo desta aula em HD na Área de Membros da Escola de Aplicativos, com progresso salvo, Tutor IA e certificado gratuito verificável. ## Navegação do Curso - **Aula anterior:** [Aula 9: Estratégias de chunking no SurrealDB para melhorar seu RAG](https://www.escoladeaplicativos.com.br/cursos/surrealdb-para-engenheiros-de-ia/estrategias-de-chunking-no-surrealdb-para-melhorar-seu-rag) - **Próxima aula:** [Aula 11: Graph RAG com múltiplos saltos no SurrealDB](https://www.escoladeaplicativos.com.br/cursos/surrealdb-para-engenheiros-de-ia/graph-rag-com-multiplos-saltos-no-surrealdb)