Pontuação de relevância entre currículo e vaga em escala
Hamed Nilforoshan · @h_nilforoshan289,6 mil visualizações no X
Benchmark feito em uma plataforma de vagas com 2,5 milhões de usuários ativos por mês, pontuando a relevância entre currículo e descrição da vaga. Comparado a rótulos humanos, o Jev teve correlação de Spearman de 0,79 a US$ 0,02, contra 0,72 a US$ 0,29 do Gemini 3.1-Flash-lite.
O que o Jev decide aqui?
Para cada par de currículo e vaga, o Jev dá uma nota (Score) de relevância.
Qual foi o resultado?
Correlação de Spearman com rótulos humanos: Jev 0,79 a US$ 0,02; Gemini 3.1-Flash-lite 0,72 a US$ 0,29.
Por que isso importa?
Matching entre pessoas e oportunidades é um problema de volume: cada usuário gera comparações com muitas vagas. Uma nota barata e bem correlacionada com o julgamento humano permite ordenar tudo sem recorrer a regras rígidas de palavras-chave.
O mesmo vale para recomendação de produtos, pareamento de mentores e triagem de leads. Cuidado: em contratação, nota automática afeta pessoas; monitore vieses, mantenha revisão humana nas decisões finais e reavalie a correlação sempre que o público ou o tipo de vaga mudar.
Post original
Hamed Nilforoshan
@h_nilforoshan
Stanford CS PhD here 👋. I rigorously benchmark Jev/Typesafe on my consumer AI app serving 2.5 million monthly active users . At HiringCafe we score user resume x job description relevance. Here's how it does 🧵