Padrões de DAG do Apache Airflow

Padrões prontos para produção para o Apache Airflow, incluindo design de DAG, operadores, sensores, testes e estratégias de implantação.

Quando Usar Esta Habilidade

• Criando orquestração de pipeline de dados com Airflow
• Projetando estruturas e dependências de DAG
• Implementando operadores e sensores personalizados
• Testando DAGs do Airflow localmente
• Configurando o Airflow em produção
• Depurando execuções de DAG com falha

Conceitos Principais

1. Princípios de Design de DAG

2. Dependências de Tarefas

# Linear
task1 >> task2 >> task3

# Fan-out
task1 >> [task2, task3, task4]

# Fan-in
[task1, task2, task3] >> task4

# Complex
task1 >> task2 >> task4
task1 >> task3 >> task4

Início Rápido

# dags/example_dag.py
from datetime import datetime, timedelta
from airflow import DAG
from airflow.operators.python import PythonOperator
from airflow.operators.empty import EmptyOperator

default_args = {
    'owner': 'data-team',
    'depends_on_past': False,
    'email_on_failure': True,
    'email_on_retry': False,
    'retries': 3,
    'retry_delay': timedelta(minutes=5),
    'retry_exponential_backoff': True,
    'max_retry_delay': timedelta(hours=1),
}

with DAG(
    dag_id='example_etl',
    default_args=default_args,
    description='Example ETL pipeline',
    schedule='0 6 * * *',  # Daily at 6 AM
    start_date=datetime(2024, 1, 1),
    catchup=False,
    tags=['etl', 'example'],
    max_active_runs=1,
) as dag:

    start = EmptyOperator(task_id='start')

    def extract_data(**context):
        execution_date = context['ds']
        # Extract logic here
        return {'records': 1000}

    extract = PythonOperator(
        task_id='extract',
        python_callable=extract_data,
    )

    end = EmptyOperator(task_id='end')

    start >> extract >> end

Padrões detalhados e exemplos práticos

A documentação detalhada dos padrões está em references/details.md. Leia esse arquivo quando o nível de navegação acima for insuficiente.

Melhores Práticas

Faça

• Use a API TaskFlow - Código mais limpo, XCom automático
• Defina timeouts - Evita tarefas zumbis
• Use mode='reschedule' - Para sensores, libera workers
• Teste DAGs - Testes unitários e testes de integração
• Tarefas idempotentes - Seguro para retentar

Não Faça

• Não use depends_on_past=True - Cria gargalos
• Não codifique datas - Use macros {{ ds }}
• Não use estado global - Tarefas devem ser sem estado
• Não pule o catchup cegamente - Entenda as implicações
• Não coloque lógica pesada no arquivo DAG - Importe de módulos