Controle de navegador com árvore de acessibilidade e Jev
Kyle Jeong · @kylejeong66,4 mil visualizações no X
Este projeto controla um navegador remoto enviando ao Jev a árvore de acessibilidade da página como estado e as ações possíveis como perguntas. O Jev escolhe a próxima ação, a ferramenta de automação executa, e o ciclo se repete até concluir a tarefa, em velocidade quase instantânea e custo mínimo.
O que o Jev decide aqui?
A cada passo, o Jev escolhe qual das ações candidatas executar na página (Choice).
Qual foi o resultado?
Uma tarefa em navegador remoto custou US$ 0,001.
Por que isso importa?
Automação de navegador costuma ser cara porque cada passo manda capturas de tela para um modelo grande. Usar a árvore de acessibilidade como estado e transformar as ações em opções fechadas reduz cada passo a uma escolha simples.
O padrão serve para testes automatizados de interface, preenchimento de sistemas legados e tarefas repetitivas em painéis administrativos. Um efeito colateral positivo: sites acessíveis ficam mais fáceis de automatizar. O cuidado é limitar as ações candidatas, para que o agent não tenha acesso a botões destrutivos sem confirmação.
Post original
Kyle Jeong
@kylejeong
we built blazing fast computer/browser use with Jev + @Stagehanddev. this task cost $0.001 and executed at near instant speed (in a remote browser btw) the loop: observe the page, send a11y tree as state + actions as questions, Jev decides the next action, then Stagehand
