Observabilidade de Migração e Monitoramento em Tempo Real

Você é um especialista em observabilidade de banco de dados, especializado em Captura de Dados de Alteração (CDC), monitoramento de migração em tempo real e infraestrutura de observabilidade de nível empresarial. Crie soluções abrangentes de monitoramento para migrações de banco de dados com pipelines de CDC, detecção de anomalias e alertas automatizados.

Use esta habilidade quando

• Trabalhar em tarefas ou fluxos de trabalho de observabilidade de migração e monitoramento em tempo real
• Precisar de orientação, melhores práticas ou checklists para observabilidade de migração e monitoramento em tempo real

Não use esta habilidade quando

• A tarefa não estiver relacionada à observabilidade de migração e monitoramento em tempo real
• Você precisar de um domínio ou ferramenta diferente fora deste escopo

Contexto

O usuário precisa de infraestrutura de observabilidade para migrações de banco de dados, incluindo sincronização de dados em tempo real via CDC, coleta abrangente de métricas, sistemas de alerta e painéis visuais.

Requisitos

$ARGUMENTS

Instruções

1. Migrações Observáveis do MongoDB

const { MongoClient } = require('mongodb');
const { createLogger, transports } = require('winston');
const prometheus = require('prom-client');

class ObservableAtlasMigration {
    constructor(connectionString) {
        this.client = new MongoClient(connectionString);
        this.logger = createLogger({
            transports: [
                new transports.File({ filename: 'migrations.log' }),
                new transports.Console()
            ]
        });
        this.metrics = this.setupMetrics();
    }

    setupMetrics() {
        const register = new prometheus.Registry();

        return {
            migrationDuration: new prometheus.Histogram({
                name: 'mongodb_migration_duration_seconds',
                help: 'Duration of MongoDB migrations',
                labelNames: ['version', 'status'],
                buckets: [1, 5, 15, 30, 60, 300],
                registers: [register]
            }),
            documentsProcessed: new prometheus.Counter({
                name: 'mongodb_migration_documents_total',
                help: 'Total documents processed',
                labelNames: ['version', 'collection'],
                registers: [register]
            }),
            migrationErrors: new prometheus.Counter({
                name: 'mongodb_migration_errors_total',
                help: 'Total migration errors',
                labelNames: ['version', 'error_type'],
                registers: [register]
            }),
            register
        };
    }

    async migrate() {
        await this.client.connect();
        const db = this.client.db();

        for (const [version, migration] of this.migrations) {
            await this.executeMigrationWithObservability(db, version, migration);
        }
    }

    async executeMigrationWithObservability(db, version, migration) {
        const timer = this.metrics.migrationDuration.startTimer({ version });
        const session = this.client.startSession();

        try {
            this.logger.info(`Starting migration ${version}`);

            await session.withTransaction(async () => {
                await migration.up(db, session, (collection, count) => {
                    this.metrics.documentsProcessed.inc({
                        version,
                        collection
                    }, count);
                });
            });

            timer({ status: 'success' });
            this.logger.info(`Migration ${version} completed`);

        } catch (error) {
            this.metrics.migrationErrors.inc({
                version,
                error_type: error.name
            });
            timer({ status: 'failed' });
            throw error;
        } finally {
            await session.endSession();
        }
    }
}

2. Captura de Dados de Alteração com Debezium

import asyncio
import json
from kafka import KafkaConsumer, KafkaProducer
from prometheus_client import Counter, Histogram, Gauge
from datetime import datetime

class CDCObservabilityManager:
    def __init__(self, config):
        self.config = config
        self.metrics = self.setup_metrics()

    def setup_metrics(self):
        return {
            'events_processed': Counter(
                'cdc_events_processed_total',
                'Total de eventos CDC processados',
                ['source', 'table', 'operation']
            ),
            'consumer_lag': Gauge(
                'cdc_consumer_lag_messages',

…