Automação de Tarefas (Automação de Desktop e Navegador)

AÇÃO NECESSÁRIA (Execute imediatamente após a leitura)

1. NOW: Confirme se a tarefa atual se enquadra no escopo desta skill.
2. NOW: Leia ../tool-index.md, verifique a disponibilidade da ferramenta e o caminho real.
3. NEXT: Chame o bootstrap quando faltarem ferramentas, não adivinhe o caminho.
4. ACT: Entre na primeira etapa do "fluxo de trabalho" e execute, não permaneça no estado de confirmação.

Escopo de Aplicação

Use esta skill quando a tarefa pertencer aos seguintes cenários:

Cenários de Navegador (Playwright / agent-browser)

• Abrir páginas da web e operar elementos da página (clicar, preencher formulários, enviar).
• Rastrear conteúdo da página ou fazer capturas de tela.
• Automatizar processos de login.
• Interagir com páginas da Web em testes de penetração (enviar payloads, acionar XSS).
• Processamento automatizado de páginas de CAPTCHA.
• Submissão em massa de formulários.

Cenários de Aplicação de Desktop (OpenReverse)

• Operar aplicações de desktop Windows (IDA Pro, x64dbg, Wireshark, etc.).
• Requer interação orientada por visão (modo CUA).
• Requer operação de UI estruturada (modo UIA).
• Observação de tráfego de rede de aplicações de desktop (mitmproxy integrado).
• Operação automatizada da GUI de ferramentas de engenharia reversa.
• Teste de caixa preta de software de desktop.

Divisão de Trabalho com Outras Ferramentas

Julgamento simples:

• O alvo é uma página da web → Playwright
• O alvo é uma aplicação de desktop Windows → OpenReverse
• Ambos são necessários → Usar em combinação

Parte 1: Automação de Navegador (Playwright / agent-browser)

Fluxo de Trabalho Principal

# 1. 打开页面
agent-browser open <url>

# 2. 获取可交互元素（返回 @e1, @e2... 引用）
agent-browser snapshot -i

# 3. 用引用操作元素
agent-browser click @e1
agent-browser fill @e2 "text"

# 4. 完成后关闭
agent-browser close

Referência de Comandos

# 导航
agent-browser open <url>
agent-browser close

# 页面快照
agent-browser snapshot        # 完整无障碍树
agent-browser snapshot -i     # 仅可交互元素（推荐）

# 交互操作
agent-browser click @e1
agent-browser fill @e2 "text"
agent-browser type @e2 "text"
agent-browser press Enter
agent-browser scroll down 500

# 获取信息
agent-browser get text @e1
agent-browser get title
agent-browser get url

# 等待
agent-browser wait @e1
agent-browser wait 2000
agent-browser wait --load networkidle

Precauções

• É obrigatório executar agent-browser close, caso contrário, o processo vazará.
• Tire um snapshot antes de operar, não adivinhe as referências de elementos.
• Após enviar o formulário, use wait --load networkidle para estabilizar a página.

Parte 2: Automação de Aplicação de Desktop (OpenReverse)

Visão Geral

OpenReverse é um framework de interação de desktop e coleta de evidências para Agentes de IA, suportando:

• Modo UIA: Windows UI Automation, operação estruturada de controles de desktop.
• Modo CUA: Interação orientada por visão (Computer Use Agent), adequada para GUIs complexas.
• Observação de Rede: Proxy mitmproxy integrado + captura local.

Seleção do Modo de Interação

Modo de Observação de Rede

Instalação e Configuração

# 1. Clone 项目
git clone https://github.com/zhexulong/openreverse.git
cd openreverse

# 2. 安装依赖
npm install

# 3. 接入 Agent 宿主（Claude Code / Codex / Zed）
npm run init:agents -- --target=all /path/to/project

# 4. 安装 CUA runtime（如果需要视觉驱动模式）
npm run install:cua-runtime
npm run doctor:cua-runtime

# 5. 安装网络观察依赖（如果需要抓包）
npm run install:mitmproxy
npm run doctor:network

Combinações Comuns

Exemplo de Cenário de Engenharia Reversa

场景：自动化操作 IDA Pro 进行批量分析

1. 用 OpenReverse CUA 模式打开 IDA Pro
2. 自动加载目标二进制
3. 等待分析完成
4. 通过 UI 操作导出函数列表
5. 同时用 network lane 观察 IDA 的网络行为（如 Lumina 请求）

场景：自动化操作 x64dbg 调试

1. 用 OpenReverse UIA 模式启动 x64dbg
2. 加载目标程序
3. 设置断点
4. 运行并观察寄存器/内存变化
5. 截图保存证据

Bootstrap Sob Demanda (On-Demand Bootstrap)

Limites de Capacidade de Automação

Gatilho de Bootstrap

• Falta Playwright para operação do navegador → Bootstrap automático.
• Necessita de OpenReverse para operação de desktop → Guiar o usuário para instalar manualmente (fornecer passos completos).

Guia de Instalação Manual do OpenReverse

Se a IA detectar a necessidade de automação de aplicação de desktop e o OpenReverse não estiver instalado:

⚠️ **需要 OpenReverse 进行桌面应用自动化**

**安装步骤**：
1. `git clone https://github.com/zhexulong/openreverse.git`
2. `cd openreverse && npm install`
3. `npm run init:agents -- --target=all <你的项目路径>`
4. 如需视觉模式：`npm run install:cua-runtime`
5. 如需网络观察：`npm run install:mitmproxy`

**验证**：`npm run doctor:cua-runtime` 和 `npm run doctor:network`

Contexto de Roteamento

Entrada Superior: skills/SKILL.md (Controle Geral), routing.md Cenário de Aplicação: Qualquer tarefa que exija automação de navegador ou aplicação de desktop. Saídas Inferiores:

• Requisições capturadas precisam de análise → anything-analyzer ou js-reverse
• Necessita de depuração/hook de JS → jshookmcp
• Necessita de restauração de algoritmo de assinatura → js-reverse
• A aplicação de desktop é uma ferramenta de engenharia reversa → ida-reverse/

Módulos Relacionados de Mesmo Nível: js-reverse (Pode ser necessário analisar JS após a operação do navegador), ida-reverse (OpenReverse pode automatizar a GUI do IDA).

Autoverificação de Conclusão de Tarefa (DEVE ser aprovado antes de declarar a conclusão)

• Executei cada etapa do fluxo de trabalho (em vez de apenas ler)?
• Usei o caminho real da ferramenta com base em tool-index?
• Produzi evidências reproduzíveis (comandos/scripts/capturas de tela/relatórios)?

…