Automação com Browser Bridge

Visão Geral

A habilidade Browser Bridge permite que assistentes de codificação de IA (incluindo Google Antigravity, Gemini CLI, Cursor e Claude) interajam e automatizem o navegador real do usuário, Microsoft Edge ou Google Chrome.

O Browser Bridge se conecta às sessões de navegador diárias do usuário através de uma extensão leve e um daemon local Python de loopback (127.0.0.1), preservando logins, cookies e preferências do usuário.

Quando Usar Esta Habilidade

• Use quando precisar inspecionar abas ativas do navegador ou páginas da web abertas.
• Use ao extrair conteúdo DOM renderizado ou tirar capturas de tela de páginas da web.
• Use ao navegar, clicar em botões, preencher formulários da web ou executar fluxos de trabalho interativos em uma sessão de navegador real.
• Use ao executar comandos brutos do Chrome DevTools Protocol (CDP) (Page, Runtime, DOM, Input, Network, Storage).

Principais Capacidades

1. Interface de Usuário Adaptativa Bilíngue: Detecção automática do idioma do navegador (inglês e chinês) com um botão de alternância instantâneo de um clique ([English / 中文]) no pop-up.
2. Roteamento Concorrente Multi-Browser: Suporte de conexão simultânea para Microsoft Edge e Google Chrome com roteamento automático inteligente para abas de destino.
3. Agrupamento Nativo de Abas: Isola automaticamente as abas controladas por IA em um grupo de abas roxo distinto [Gemini] para clareza visual completa.
4. Snapshot e Controle Interativos: Fornece snapshots numerados de elementos (#1, #2) para clicar ou preencher campos de entrada sem adivinhação manual de coordenadas.
5. Daemon de Background Auto-Reparável: Inicia automaticamente o serviço de bridge local em segundo plano se ele não estiver ativo no momento.
6. Arquitetura com Foco em Privacidade: Vincula estritamente a 127.0.0.1; sem telemetria, sem retransmissões na nuvem, acesso ao navegador que pode expor dados autenticados; o binding de loopback não é uma garantia de controle de acesso ou privacidade.

Pré-requisitos e Caminhos Instalados

O AAS distribui este guia apenas: server/cli.py, o daemon e a extensão não são empacotados. Os comandos abaixo são executados a partir de um checkout upstream revisado separadamente em v1.4.0 commit 0eb6a6fcc1cb36bcfa0fa0d5d41f9ae6bf229c69, com Python 3.10+ e suas dependências revisadas. A inspeção do código-fonte não é instalação nem um teste de cliente ativo.

Revise o código-fonte imutável e as dependências antes de uma instalação autorizada. Carregar a extensão descompactada, iniciar/reviver o daemon, habilitar o modo de desenvolvedor ou registrar alterações de inicialização silenciosa muda o host e requer autorização correspondente. Não instale ou persista um serviço silenciosamente para satisfazer uma solicitação de inspeção de página. O CLI upstream pode iniciar o daemon quando ausente, inclusive durante comandos de inspeção; confirme se a inicialização é permitida primeiro. Prefira as ferramentas de navegador existentes do host quando disponíveis.

Os exemplos usam python3; no Windows, use o lançador Python selecionado (por exemplo, py). Escolha o navegador e a aba exatos de tabs; 123 abaixo é ilustrativo, não um ID de aba descoberto. Tire um novo snapshot dessa aba antes de selecionar os índices de elementos. Não aja em outra aba após a navegação ou com índices desatualizados.

Referência Rápida de Uso

1. Status da Conexão e Consulta de Abas

python3 server/cli.py status
python3 server/cli.py tabs

2. Navegação e Interação com a Página

# Open URL
python3 server/cli.py open "https://github.com"

# Snapshot interactive elements
tab_id=123  # Replace with the authorized tab ID from tabs
python3 server/cli.py snap --tab "$tab_id"

# Click element (#index, text, or selector)
python3 server/cli.py click "#1" --tab "$tab_id"
python3 server/cli.py click "Sign in" --tab "$tab_id"

# Input text into form field
python3 server/cli.py type "#search" "machine learning" --tab "$tab_id"

3. Extração de Página, Avaliação e CDP Bruto

# Extract structured content
python3 server/cli.py text --tab "$tab_id"

# Take page screenshot
python3 server/cli.py screenshot "./new-private-page.png" --tab "$tab_id"

# Execute JavaScript expression
python3 server/cli.py eval "document.title" --tab "$tab_id"

# Execute raw Chrome DevTools Protocol (CDP) method
python3 server/cli.py cdp Page.captureScreenshot '{"format": "png"}' --tab "$tab_id"

Código-Fonte e Repositório

• Repositório: https://github.com/AshenJyy/antigravity-browser-bridge

…