Assistente de computador por voz com Whisper e Jev
Marc Köhlbrugge · @marckohlbrugge7,4 mil visualizações no X
Assistente de computador por voz que usa o Whisper rodando localmente para transcrever tudo o que o usuário fala e o Jev para classificar qual ação tomar. Um pequeno app em Swift envia a árvore de acessibilidade da tela, informando o que está visível e clicável, para que o Jev decida onde agir.
O que o Jev decide aqui?
Com a fala transcrita e a árvore de acessibilidade no state, o Jev decide qual ação executar e em qual elemento clicar.
Por que isso importa?
A árvore de acessibilidade é uma representação estruturada da tela, com botões, campos e rótulos, o que a torna um state muito melhor do que uma captura de imagem para decidir cliques. Combinada com transcrição local, ela mantém o assistente rápido e reduz o que sai da máquina.
O padrão interessa a quem constrói ferramentas de acessibilidade, automação de desktop ou atalhos por voz em apps internos. O cuidado é pedir confirmação para ações destrutivas ou irreversíveis, porque um erro de transcrição pode virar um clique no botão errado.
Post original
Marc Köhlbrugge
@marckohlbrugge
building a computer assistant with Jev local whisper listens to everything I say which then gets classified by Jev to determine what actions to take it uses a small Swift app to provide the full accessibility tree to Jev (i.e. tell its what's on my screen, what can be clicked,
