Controle do navegador por voz com decisões em 300 ms
Moritz Kremb · @moritzkremb344,5 mil visualizações no X
Projeto que controla o navegador por voz em tempo real. A fala é transcrita, o texto vai para o Jev, que devolve probabilidades para as ações possíveis em cerca de 300 ms, e o navegador executa o clique. Cada decisão custa US$ 0,0002, o que torna viável reagir a cada comando falado.
O que o Jev decide aqui?
Para cada comando falado, o Jev atribui probabilidades às ações possíveis na página e a mais provável é executada.
Qual foi o resultado?
Probabilidades devolvidas em cerca de 300 ms, a US$ 0,0002 por decisão.
Por que isso importa?
Interfaces por voz dependem de resposta rápida: se o clique demora, a pessoa repete o comando ou desiste. Mapear a transcrição para ações já existentes na página, em vez de gerar texto, mantém a latência baixa e evita comandos inventados.
O padrão ajuda em acessibilidade, uso com as mãos ocupadas e assistentes dentro de produtos web. Cuidado: use as probabilidades para pedir confirmação quando nenhuma ação se destacar, principalmente antes de cliques irreversíveis como enviar ou excluir.
Post original
Moritz Kremb
@moritzkremb
whoa this actually worked! Jev lets me control my browser in real time with my voice now > i talk > transcript sent to Jev > jev returns probabilities in ~300ms > browser clicks costs: $0.0002 per decision i'm stunned how fast this is. when i asked it to "go back", it even
