Automatize Isto

Analise uma gravação de tela de um processo manual e crie automações funcionais para ele.

O usuário grava a si mesmo fazendo algo repetitivo ou tedioso, entrega o arquivo de vídeo para você, e você descobre o que ele está fazendo, por quê, e como automatizar isso com um script.

Verificação de Pré-requisitos

Antes de analisar qualquer gravação, verifique se as ferramentas necessárias estão disponíveis. Execute essas verificações silenciosamente e apenas apresente problemas:

command -v ffmpeg >/dev/null 2>&1 && ffmpeg -version 2>/dev/null | head -1 || echo "NO_FFMPEG"
command -v whisper >/dev/null 2>&1 || command -v whisper-cpp >/dev/null 2>&1 || echo "NO_WHISPER"

• ffmpeg é obrigatório. Se estiver faltando, diga ao usuário: brew install ffmpeg (macOS) ou o equivalente para o sistema operacional dele.
• Whisper é opcional. Só é necessário se a gravação tiver narração. Se estiver faltando E a gravação tiver uma trilha de áudio, sugira: pip install openai-whisper ou brew install whisper-cpp. Se o usuário recusar, prossiga apenas com a análise visual.

Fase 1: Extrair Conteúdo da Gravação

Dado um caminho de arquivo de vídeo (geralmente em ~/Desktop/), extraia quadros visuais e áudio:

Extração de Quadros

Extraia quadros a cada 2 segundos. Isso equilibra a cobertura com os limites da janela de contexto.

WORK_DIR=$(mktemp -d "${TMPDIR:-/tmp}/automate-this-XXXXXX")
chmod 700 "$WORK_DIR"
mkdir -p "$WORK_DIR/frames"
ffmpeg -y -i "<VIDEO_PATH>" -vf "fps=0.5" -q:v 2 -loglevel warning "$WORK_DIR/frames/frame_%04d.jpg"
ls "$WORK_DIR/frames/" | wc -l

Use $WORK_DIR para todos os caminhos de arquivos temporários subsequentes na sessão. O diretório por execução com modo 0700 garante que os quadros extraídos sejam legíveis apenas pelo usuário atual.

Se a gravação for mais longa que 5 minutos (mais de 150 quadros), aumente o intervalo para um quadro a cada 4 segundos para permanecer dentro dos limites de contexto. Informe ao usuário que você está amostrando com menos frequência para gravações mais longas.

Extração e Transcrição de Áudio

Verifique se o vídeo tem uma trilha de áudio:

ffprobe -i "<VIDEO_PATH>" -show_streams -select_streams a -loglevel error | head -5

Se o áudio existir:

ffmpeg -y -i "<VIDEO_PATH>" -ac 1 -ar 16000 -loglevel warning "$WORK_DIR/audio.wav"

# Use whichever whisper binary is available
if command -v whisper >/dev/null 2>&1; then
  whisper "$WORK_DIR/audio.wav" --model small --language en --output_format txt --output_dir "$WORK_DIR/"
  cat "$WORK_DIR/audio.txt"
elif command -v whisper-cpp >/dev/null 2>&1; then
  whisper-cpp -m "$(brew --prefix 2>/dev/null)/share/whisper-cpp/models/ggml-small.bin" -l en -f "$WORK_DIR/audio.wav" -otxt -of "$WORK_DIR/audio"
  cat "$WORK_DIR/audio.txt"
else
  echo "NO_WHISPER"
fi

Se nenhum binário do Whisper estiver disponível e a gravação tiver áudio, informe ao usuário que ele está perdendo o contexto da narração e pergunte se ele deseja instalar o Whisper (pip install openai-whisper ou brew install whisper-cpp) ou prosseguir com a análise apenas visual.

Fase 2: Reconstruir o Processo

Analise os quadros extraídos (e a transcrição, se disponível) para construir um entendimento estruturado do que o usuário fez. Percorra os quadros sequencialmente e identifique:

1. Aplicações usadas — Quais aplicativos aparecem na gravação? (navegador, terminal, Finder, cliente de e-mail, planilha, IDE, etc.)
2. Sequência de ações — O que o usuário fez, em ordem? Clique a clique, passo a passo.
3. Fluxo de dados — Que informações se moveram entre as etapas? (texto copiado, arquivos baixados, entradas de formulário, etc.)
4. Pontos de decisão — Houve momentos em que o usuário pausou, verificou algo ou fez uma escolha?
5. Padrões de repetição — O usuário fez a mesma coisa várias vezes com entradas diferentes?
6. Pontos problemáticos — Onde o processo pareceu lento, propenso a erros ou tedioso? A narração geralmente revela isso diretamente ("Eu odeio essa parte", "isso sempre leva uma eternidade", "eu tenho que fazer isso para cada um").

Apresente essa reconstrução ao usuário como uma lista numerada de etapas e peça para ele confirmar se está precisa antes de propor a automação. Isso é crucial — um entendimento errado leva a uma automação inútil.

Formato:

Aqui está o que eu vejo você fazendo nesta gravação:

1. Abrir o Chrome e navegar para [URL específica]
2. Fazer login com as credenciais
3. Clicar até o painel de relatórios
4. Baixar uma exportação CSV
5. Abrir o CSV no Excel
6. Filtrar linhas onde a coluna B é "pendente"
7. Copiar essas linhas para uma nova planilha
8. Enviar a nova planilha por e-mail para [destinatário]

Você repetiu os passos 3-8 três vezes para diferentes tipos de relatório.


…