Automação com Firecrawl

Execute rastreamento e extração da web com Firecrawl diretamente do Claude Code. Raspe páginas individuais, rastreie sites inteiros, extraia dados estruturados com IA, processe listas de URLs em lote e mapeie estruturas de sites sem sair do seu terminal.

Documentação do Toolkit: composio.dev/toolkits/firecrawl

Configuração

1. Adicione o servidor Composio MCP à sua configuração:

   https://rube.app/mcp
   

2. Conecte sua conta Firecrawl quando solicitado. O agente fornecerá um link de autenticação.
3. Esteja ciente do consumo de créditos – defina seus rastreamentos de forma restrita e teste em pequenos conjuntos de URLs antes de escalar.

Fluxos de Trabalho Principais

1. Raspar uma Página Única

Obtenha conteúdo de uma URL em vários formatos com ações de navegador opcionais para páginas dinâmicas.

Ferramenta: FIRECRAWL_SCRAPE

Parâmetros principais:

• url (obrigatório) – URL totalmente qualificada para raspar
• formats – formatos de saída: markdown (padrão), html, rawHtml, links, screenshot, json
• onlyMainContent (padrão true) – extrai apenas o conteúdo principal, excluindo navegação/rodapé/anúncios
• waitFor – milissegundos para aguardar a renderização de JS (padrão 0)
• timeout – espera máxima em ms (padrão 30000)
• actions – ações do navegador antes de raspar (clicar, escrever, aguardar, pressionar, rolar)
• includeTags / excludeTags – filtrar por tags HTML
• jsonOptions – para extração estruturada com schema e/ou prompt

Exemplo de prompt: "Raspe o conteúdo principal de https://example.com/pricing como markdown"

2. Rastrear um Site Inteiro

Descubra e raspe várias páginas de um site com profundidade configurável, filtros de caminho e concorrência.

Ferramenta: FIRECRAWL_CRAWL_V2

Parâmetros principais:

• url (obrigatório) – URL inicial para o rastreamento
• limit (padrão 10) – páginas máximas para rastrear
• maxDiscoveryDepth – limite de profundidade a partir da página raiz
• includePaths / excludePaths – padrões regex para caminhos de URL
• allowSubdomains – incluir subdomínios (padrão false)
• crawlEntireDomain – seguir links irmãos/pais, não apenas filhos (padrão false)
• sitemap – include (padrão), skip ou only
• prompt – linguagem natural para configurar automaticamente as definições do rastreador
• scrapeOptions_formats – formato de saída para cada página
• scrapeOptions_onlyMainContent – extração de conteúdo principal por página

Exemplo de prompt: "Rastreie a seção de documentação de firecrawl.dev, no máximo 50 páginas, apenas caminhos que correspondam a docs"

3. Extrair Dados Estruturados

Extraia dados JSON estruturados de páginas da web usando IA com um prompt em linguagem natural ou esquema JSON.

Ferramenta: FIRECRAWL_EXTRACT

Parâmetros principais:

• urls (obrigatório) – array de URLs para extrair (máximo de 10 em beta). Suporta curingas como https://example.com/blog/*
• prompt – descrição em linguagem natural do que extrair
• schema – Esquema JSON definindo a estrutura de saída desejada
• enable_web_search – permitir rastrear links fora dos domínios iniciais (padrão false)

Pelo menos um de prompt ou schema deve ser fornecido.

Verifique o status da extração com FIRECRAWL_EXTRACT_GET usando o id do job retornado.

Exemplo de prompt: "Extraia nome da empresa, níveis de preço e listas de recursos de https://example.com/pricing"

4. Raspar Múltiplas URLs em Lote

Raspe muitas URLs concorrentemente com configuração compartilhada para coleta eficiente de dados em massa.

Ferramenta: FIRECRAWL_BATCH_SCRAPE

Parâmetros principais:

• urls (obrigatório) – array de URLs para raspar
• formats – formato de saída para todas as páginas (padrão markdown)
• onlyMainContent (padrão true) – extração de conteúdo principal
• maxConcurrency – limite de rastreamento paralelo
• ignoreInvalidURLs (padrão true) – pular URLs ruins em vez de falhar o lote
• location – configurações de geolocalização com código country
• actions – ações do navegador aplicadas a cada página
• blockAds (padrão true) – bloquear anúncios

Exemplo de prompt: "Raspe em lote estas 20 URLs de páginas de produtos como markdown com bloqueio de anúncios"

5. Mapear Estrutura do Site

Descubra todas as URLs em um site a partir de uma URL inicial, útil para planejar rastreamentos ou auditar a estrutura do site.

Ferramenta: FIRECRAWL_MAP_MULTIPLE_URLS_BASED_ON_OPTIONS

Parâmetros principais:

• url (obrigatório) – URL inicial (deve ser https:// ou http://)
• search – guiar a descoberta de URLs para tipos de página específicos
• limit (padrão 5000, máximo 100000) – URLs máximas a serem retornadas
• includeSubdomains (padrão true) – incluir subdomínios
• ignoreQueryParameters (padrão true) – deduplicar URLs que diferem apenas por parâmetros de consulta

…