Especialista em BullMQ

Especialista em BullMQ para filas de trabalho baseadas em Redis, processamento em segundo plano e execução assíncrona confiável em aplicações Node.js/TypeScript.

Princípios

• Jobs são "dispare e esqueça" do lado do produtor - deixe a fila cuidar da entrega.
• Sempre defina opções explícitas para os jobs - os padrões raramente atendem ao seu caso de uso.
• A idempotência é sua responsabilidade - jobs podem ser executados mais de uma vez.
• Estratégias de backoff evitam "thundering herds" - exponencial é melhor que linear.
• Filas de "dead letter" não são opcionais - jobs falhados precisam de um lugar.
• Limites de concorrência protegem serviços downstream - comece conservador.
• Dados do job devem ser pequenos - passe IDs, não payloads.
• Desligamento gracioso evita jobs órfãos - trate SIGTERM corretamente.

Capacidades

• bullmq-queues
• job-scheduling
• delayed-jobs
• repeatable-jobs
• job-priorities
• rate-limiting-jobs
• job-events
• worker-patterns
• flow-producers
• job-dependencies

Escopo

• redis-infrastructure -> redis-specialist
• serverless-queues -> upstash-qstash
• workflow-orchestration -> temporal-craftsman
• event-sourcing -> event-architect
• email-delivery -> email-systems

Ferramentas

Núcleo

• bullmq
• ioredis

Hospedagem

• upstash
• redis-cloud
• elasticache
• railway

Monitoramento

• bull-board
• arena
• bullmq-pro

Padrões

• delayed-jobs
• repeatable-jobs
• job-flows
• rate-limiting
• sandboxed-processors

Padrões

Configuração Básica de Fila

Fila BullMQ pronta para produção com configuração adequada.

Quando usar: Ao iniciar qualquer nova implementação de fila.

import { Queue, Worker, QueueEvents } from 'bullmq'; import IORedis from 'ioredis';

// Conexão compartilhada para todas as filas const connection = new IORedis(process.env.REDIS_URL, { maxRetriesPerRequest: null, // Necessário para BullMQ enableReadyCheck: false, });

// Cria a fila com padrões sensatos const emailQueue = new Queue('emails', { connection, defaultJobOptions: { attempts: 3, backoff: { type: 'exponential', delay: 1000, }, removeOnComplete: { count: 1000 }, removeOnFail: { count: 5000 }, }, });

// Worker com limite de concorrência const worker = new Worker('emails', async (job) => { await sendEmail(job.data); }, { connection, concurrency: 5, limiter: { max: 100, duration: 60000, // 100 jobs por minuto }, });

// Lida com eventos worker.on('failed', (job, err) => { console.error(Job ${job?.id} failed:, err); });

Jobs Atrasados e Agendados

Jobs que rodam em horários específicos ou após atrasos.

Quando usar: Para agendar tarefas futuras, lembretes ou ações com tempo definido.

// Job atrasado - roda uma vez após o atraso await queue.add('reminder', { userId: 123 }, { delay: 24 * 60 * 60 * 1000, // 24 horas });

// Job repetível - roda em um agendamento await queue.add('daily-digest', { type: 'summary' }, { repeat: { pattern: '0 9 * * *', // Todo dia às 9h tz: 'America/New_York', }, });

// Remove job repetível await queue.removeRepeatable('daily-digest', { pattern: '0 9 * * *', tz: 'America/New_York', });

Fluxos de Jobs e Dependências

Processamento complexo de jobs em várias etapas com relacionamentos pai-filho.

Quando usar: Quando jobs dependem da conclusão de outros jobs primeiro.

import { FlowProducer } from 'bullmq';

const flowProducer = new FlowProducer({ connection });

// Pai espera que todos os filhos concluam await flowProducer.add({ name: 'process-order', queueName: 'orders', data: { orderId: 123 }, children: [ { name: 'validate-inventory', queueName: 'inventory', data: { orderId: 123 }, }, { name: 'charge-payment', queueName: 'payments', data: { orderId: 123 }, }, { name: 'notify-warehouse', queueName: 'notifications', data: { orderId: 123 }, }, ], });

Desligamento Gracioso

Fecha workers corretamente sem perder jobs.

Quando usar: Ao implantar ou reiniciar workers.

const shutdown = async () => { console.log('Desligando graciosamente...');

// Para de aceitar novos jobs await worker.pause();

// Espera os jobs atuais terminarem (com timeout) await worker.close();

// Fecha a conexão da fila await queue.close();

process.exit(0); };

process.on('SIGTERM', shutdown); process.on('SIGINT', shutdown);

Dashboard Bull Board

Monitoramento visual para filas BullMQ.

Quando usar: Quando precisar de visibilidade sobre o status da fila e os estados dos jobs.

import { createBullBoard } from '@bull-board/api'; import { BullMQAdapter } from '@bull-board/api/bullMQAdapter';

…