Avalie seu RAG com Recall, Precision e MRR no SurrealDB
Por Mauro Mequelussi · Curso gratuito SurrealDB para engenheiros de IA: RAG e agentes · Português (PT-BR)
Resposta direta · O que esta aula resolve
A Aula 10 de 11 ("Avalie seu RAG com Recall, Precision e MRR no SurrealDB"), parte do módulo "Qualidade e Graph RAG" do curso gratuito "SurrealDB para engenheiros de IA: RAG e agentes" na Escola de Aplicativos (ministrado por Mauro Mequelussi), ensina na prática: prática, você verá como medir a eficácia dos seus buscadores vetorial, lexical e híbrido usando métricas objetivas. Descubra por que a busca híbrida pode perder para a vetorial em top k pequenos e como corrigir falsos positivos com filtros de nota mínima.
Crie sua conta grátis para assistir a esta videoaula em HD
O resumo técnico e os capítulos abaixo são abertos para consulta. Crie sua conta 100% gratuita em segundos para liberar todas as 11 videoaulas em HD, controle automático de progresso, Tutor IA e certificado gratuito verificável.
- R$ 0 · Sem cartão de crédito
- Tutor IA tira-dúvidas da aula
- Certificado gratuito incluso
O que você vai aprender
- Como isolar e medir a qualidade da recuperação de documentos antes da geração da resposta.
- Como criar e armazenar um golden set fortemente tipado em SurrealDB.
- Como implementar funções de cálculo para Recall@k, Precision@k e MRR em SurrealQL.
- Por que o RRF pode sofrer com palavras coincidentes em top k baixo e como resolver com pontuação mínima.
- Como transformar rodadas de avaliação em testes de regressão automatizados salvos no banco.
Pontos-chave da aula
- Recall@k define o teto absoluto da qualidade do RAG: o que não foi recuperado não pode ser respondido.
- Tabelas tipadas no SurrealDB evitam gabaritos quebrados com links para registros inexistentes.
- Média agregada pode ocultar falhas graves: sempre analise métricas no nível de perguntas individuais.
- O operador RRF olha para o rank e não para a magnitude do score, o que exige cuidados com candidatos de baixa relevância.
Capítulos e roteiro técnico da aula
9 capítulos minutados- 00:00
Por que medir a recuperação antes do prompt
Introdução sobre a importância de avaliar se os documentos corretos foram recuperados antes de culpar o modelo da IA.
- 00:19
A necessidade de testar afirmações com dados
Contextualização da aula para validar na prática a eficiência da busca vetorial versus busca híbrida.
- 00:33
O conceito de Recall no top k
Explicação teórica de como o Recall@k atua como o teto de qualidade para qualquer resposta gerada por RAG.
- 01:03
Criando o golden set como tabela no SurrealDB
Como estruturar um conjunto de gabaritos tipado no SurrealDB com garantias de integridade referencial.
- 02:23
Padronizando buscadores e métricas em SurrealQL
Implementação de funções para busca vetorial, BM25 e RRF, além do cálculo de Recall, Precision e MRR.
- 03:42
A busca híbrida perdendo para a vetorial
Demonstração prática de como a busca vetorial pode superar a híbrida dependendo do k escolhido.
- 04:52
Diagnóstico de erro e corte por nota mínima
Análise de falsos positivos introduzidos pelo BM25 no RRF e como um score threshold corrige a fusão.
- 05:56
Guardando runs e boas práticas de golden set
Transformação de avaliações em testes de regressão no banco e diretrizes para criar um bom dataset de teste.
- 06:37
Limitações da avaliação e introdução a Graph RAG
Considerações finais sobre limitações dos testes e introdução conceitual ao Graph RAG para respostas interconectadas.
Momentos de destaque na prática
Por que o Recall é o teto de qualquer pipeline de RAG
Se o documento certo não chega no contexto, nenhum modelo caro conserta a resposta.
Por que a busca híbrida perdeu para a vetorial no k=3
A busca híbrida é sempre a melhor escolha? Os números mostram quando isso é mentira.
Como ruído léxico quebra o RRF e como consertar
Descubra como uma única palavra irrelevante pode sabotar completamente a busca híbrida.
Notas de aula e guia de estudo
Descubra como diagnosticar falhas no seu sistema de RAG medindo a recuperação de documentos antes de culpar o modelo de IA. Nesta aula, implementamos testes quantitativos usando Recall@k, Precision@k e MRR diretamente em funções dentro do SurrealDB.
Você também verá um caso real onde a busca híbrida perde para a vetorial pura devido à poluição léxica, aprendendo a auditar os resultados pergunta por pergunta e a aplicar filtros que corrigem a fusão de scores.
O que você vai aprender
- Como isolar e medir a qualidade da recuperação de documentos antes da geração da resposta.
- Como criar e armazenar um golden set fortemente tipado em SurrealDB.
- Como implementar funções de cálculo para Recall@k, Precision@k e MRR em SurrealQL.
- Por que o RRF pode sofrer com palavras coincidentes em top k baixo e como resolver com pontuação mínima.
- Como transformar rodadas de avaliação em testes de regressão automatizados salvos no banco.
Pontos-chave
- Recall@k define o teto absoluto da qualidade do RAG: o que não foi recuperado não pode ser respondido.
- Tabelas tipadas no SurrealDB evitam gabaritos quebrados com links para registros inexistentes.
- Média agregada pode ocultar falhas graves: sempre analise métricas no nível de perguntas individuais.
- O operador RRF olha para o rank e não para a magnitude do score, o que exige cuidados com candidatos de baixa relevância.