Otimização do Apache Spark

Padrões de produção para otimizar jobs do Apache Spark, incluindo estratégias de particionamento, gerenciamento de memória, otimização de shuffle e ajuste de performance.

Quando Usar Esta Habilidade

• Otimizar jobs Spark lentos
• Ajustar a configuração de memória e executores
• Implementar estratégias eficientes de particionamento
• Depurar problemas de performance do Spark
• Escalar pipelines Spark para grandes conjuntos de dados
• Reduzir shuffle e assimetria de dados (data skew)

Conceitos Principais

1. Modelo de Execução do Spark

Driver Program
    ↓
Job (triggered by action)
    ↓
Stages (separated by shuffles)
    ↓
Tasks (one per partition)

2. Fatores Chave de Performance

Início Rápido

from pyspark.sql import SparkSession
from pyspark.sql import functions as F

# Create optimized Spark session
spark = (SparkSession.builder
    .appName("OptimizedJob")
    .config("spark.sql.adaptive.enabled", "true")
    .config("spark.sql.adaptive.coalescePartitions.enabled", "true")
    .config("spark.sql.adaptive.skewJoin.enabled", "true")
    .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
    .config("spark.sql.shuffle.partitions", "200")
    .getOrCreate())

# Read with optimized settings
df = (spark.read
    .format("parquet")
    .option("mergeSchema", "false")
    .load("s3://bucket/data/"))

# Efficient transformations
result = (df
    .filter(F.col("date") >= "2024-01-01")
    .select("id", "amount", "category")
    .groupBy("category")
    .agg(F.sum("amount").alias("total")))

result.write.mode("overwrite").parquet("s3://bucket/output/")

Padrões Detalhados e Exemplos Práticos

A documentação detalhada dos padrões está em references/details.md. Leia este arquivo quando o nível de navegação acima for insuficiente.

Melhores Práticas

O Que Fazer

• Habilitar AQE - A execução adaptativa de consultas (Adaptive Query Execution) resolve muitos problemas
• Usar Parquet/Delta - Formatos colunares com compressão
• Fazer broadcast de tabelas pequenas - Evitar shuffle para joins pequenos
• Monitorar o Spark UI - Verificar assimetria, spills, GC
• Dimensionar corretamente as partições - 128MB - 256MB por partição

O Que Não Fazer

• Não coletar dados grandes - Manter os dados distribuídos
• Não usar UDFs desnecessariamente - Usar funções nativas
• Não fazer cache em excesso - A memória é limitada
• Não ignorar a assimetria de dados - Ela domina o tempo do job
• Não usar .count() para existência - Usar .take(1) ou .isEmpty()