Voltar aos materiaisTutorialbuscarerankingagentes-de-ia

Buscar é fácil; decidir o que importa é o trabalho

Como Jev pode reordenar candidatos de busca e avaliar correspondências, sem substituir a recuperação nem a resposta final.
Ed
Por Escola de Aplicativos
3 min
Buscar é fácil; decidir o que importa é o trabalho
Em resumo

Como Jev pode reordenar candidatos de busca e avaliar correspondências, sem substituir a recuperação nem a resposta final.

Curso Grátis

OpenBot do Zero

Acessar agora

Uma busca encontra trinta documentos sobre um assunto. O problema seguinte é decidir quais deles realmente respondem à pergunta. A primeira etapa recupera candidatos; a segunda julga relevância. O Jev pode ocupar essa segunda etapa.

Na receita de reranking da TypeSafe, um sistema prepara uma lista curta e usa julgamentos sobre cada candidato para reordená-la. Em um experimento com passagens do conjunto jurídico CLERC, a documentação relata melhora de 5 para 18% no primeiro resultado e de 38 para 62% entre os dez primeiros, em 40 consultas. É uma medição específica, pequena e publicada pelo fornecedor. O ganho no seu acervo deve ser medido separadamente.

Recuperar e julgar são trabalhos diferentes

Um mecanismo de busca ou embeddings traz candidatos com rapidez. O Jev examina pares de pergunta e trecho e atribui uma avaliação de relevância. A aplicação ordena a lista e entrega os melhores documentos para leitura ou para outro modelo escrever uma resposta com fontes. O Jev não cria embeddings e não redige a resposta final.

Quando um conjunto tem milhares de itens, enviar todos a um julgador costuma ser desperdício. Primeiro aplique filtros objetivos e uma recuperação ampla; depois julgue um lote administrável. No catálogo do portal, o caso de embeddings como pré-filtro segue justamente essa divisão.

Relevância depende da pergunta
Um trecho pode ser excelente para uma consulta e inútil para outra. Inclua a necessidade concreta do usuário no estado avaliado e preserve o identificador do documento para explicar a ordem final.

Outros pares que pedem julgamento

O mesmo desenho aparece em currículo e vaga e catálogos de autopeças: primeiro localizar pares plausíveis, depois avaliar se correspondem. Os exemplos da comunidade ajudam a enxergar aplicações, mas a métrica de acerto depende de como cada projeto montou seus dados e sua referência humana.

Em busca para um produto real, avalie pelo menos três coisas: se o documento correto entrou na lista inicial, se o julgamento o colocou em posição útil e se a resposta final usou a fonte certa. Um reranker não consegue recuperar um documento que nunca chegou até ele. Também convém revisar falsos negativos: descartar uma resposta relevante pode ser mais grave do que mostrar um candidato extra.

O próximo texto trata do mesmo problema em outra forma: filas de e-mails, alertas e solicitações que precisam chegar ao lugar certo.

[ CONTEÚDO_INTEGRAL_DISPONÍVEL ]

Capítulo anterior: escolher a skill certa

CLIQUE PARA DESBLOQUEAR A LEITURA

Continue explorando

Artigos relacionados

Mil itens, poucos segundos: Jev nas filas de trabalho
Tutorial

Mil itens, poucos segundos: Jev nas filas de trabalho

E-mails, incidentes e alertas exigem triagem repetida. Entenda o fluxo, as regras duras e o que medir antes de automatizar.
Ed

Escola de Aplicativos

Continuar lendo →
Confiança não é licença para automatizar tudo
Tutorial

Confiança não é licença para automatizar tudo

Calibração, revisão humana e limites do Jev: como decidir o que avança sozinho e quando o sistema deve parar.
Ed

Escola de Aplicativos

Continuar lendo →
O agente que escolhe a skill antes de agir
Tutorial

O agente que escolhe a skill antes de agir

Como selecionar uma skill útil, preservar a opção nenhuma e medir se a escolha melhora a tarefa inteira.
Ed

Escola de Aplicativos

Continuar lendo →