Padrões de Transformação do dbt

Padrões prontos para produção para o dbt (data build tool), incluindo organização de modelos, estratégias de teste, documentação e processamento incremental.

Quando Usar Esta Habilidade

• Construir pipelines de transformação de dados com dbt
• Organizar modelos em camadas de staging, intermediária e marts
• Implementar testes de qualidade de dados
• Criar modelos incrementais para grandes conjuntos de dados
• Documentar modelos de dados e linhagem
• Configurar a estrutura do projeto dbt

Conceitos Principais

1. Camadas de Modelos (Arquitetura Medallion)

sources/          Raw data definitions
    ↓
staging/          1:1 with source, light cleaning
    ↓
intermediate/     Business logic, joins, aggregations
    ↓
marts/            Final analytics tables

2. Convenções de Nomenclatura

Início Rápido

# dbt_project.yml
name: "analytics"
version: "1.0.0"
profile: "analytics"

model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]

vars:
  start_date: "2020-01-01"

models:
  analytics:
    staging:
      +materialized: view
      +schema: staging
    intermediate:
      +materialized: ephemeral
    marts:
      +materialized: table
      +schema: analytics

# Project structure
models/
├── staging/
│   ├── stripe/
│   │   ├── _stripe__sources.yml
│   │   ├── _stripe__models.yml
│   │   ├── stg_stripe__customers.sql
│   │   └── stg_stripe__payments.sql
│   └── shopify/
│       ├── _shopify__sources.yml
│       └── stg_shopify__orders.sql
├── intermediate/
│   └── finance/
│       └── int_payments_pivoted.sql
└── marts/
    ├── core/
    │   ├── _core__models.yml
    │   ├── dim_customers.sql
    │   └── fct_orders.sql
    └── finance/
        └── fct_revenue.sql

Padrões Detalhados e Exemplos Práticos

A documentação detalhada dos padrões está em references/details.md. Leia esse arquivo quando o nível de navegação acima for insuficiente.

Melhores Práticas

Faça

• Use a camada de staging - Limpe os dados uma vez, use em todos os lugares
• Teste agressivamente - Não nulo, único, relacionamentos
• Documente tudo - Descrições de colunas, descrições de modelos
• Use incremental - Para tabelas com mais de 1 milhão de linhas
• Controle de versão - Projeto dbt no Git

Não Faça

• Não pule o staging - Raw → mart é débito técnico
• Não codifique datas diretamente - Use {{ var('start_date') }}
• Não repita a lógica - Extraia para macros
• Não teste em produção - Use o alvo de desenvolvimento
• Não ignore a atualidade - Monitore os dados de origem