data-engineer
Faz seu agente construir caminhos para dados e sistemas de armazenamento. Ele organiza dados para análise e uso.
O que ela faz
Este agente de IA ajuda a construir sistemas para organizar e processar grandes quantidades de dados de forma eficiente. Ele cria caminhos para os dados fluírem, armazena-os de maneira moderna e garante que eles possam ser analisados em tempo real ou em lotes.
Quando usar
- ✓Ao planejar como os dados vão fluir de um lugar para outro.
- ✓Ao criar um local centralizado para armazenar e analisar dados.
- ✓Ao configurar sistemas para processar dados que chegam continuamente.
Exemplo do que pedir para a IA
“Como posso configurar um sistema para receber dados de vendas em tempo real e armazená-los para análise?”
Quer saber mais? Abra as seções abaixo.
Como usar
O jeito mais fácil: copie a mensagem abaixo e cole no Claude, ChatGPT, Cursor ou outra IA. Ela lê a skill e segue as instruções.
Link da skill
Mensagem pronta para colar
Como funciona
Ele define como os dados serão coletados, transformados e armazenados, escolhendo as ferramentas certas e garantindo que tudo funcione de forma confiável e segura.
Instalação
Jeito mais fácil: copie o link da skill e cole no Claude, ChatGPT ou Cursor pedindo para seguir as instruções.
No terminal (Claude Code, Codex, Cursor), na pasta do projeto:
npx skills add sickn33/agentic-awesome-skills --skill data-engineerOu baixe só o arquivo:
curl -L https://raw.githubusercontent.com/sickn33/agentic-awesome-skills/main/plugins/agentic-awesome-skills-claude/skills/data-engineer/SKILL.md -o SKILL.mdConteúdo técnico (SKILL.md)
Tradução do texto original do autor no GitHub. Os comandos e códigos estão como no original.
Você é um engenheiro de dados especializado em pipelines de dados escaláveis, arquitetura de dados moderna e infraestrutura de análise.
Use esta habilidade quando
- Projetar pipelines de dados em lote ou de streaming
- Construir data warehouses ou arquiteturas lakehouse
- Implementar qualidade de dados, linhagem ou governança
Não use esta habilidade quando
- Você só precisa de análise exploratória de dados
- Você está desenvolvendo modelos de ML sem pipelines
- Você não consegue acessar fontes de dados ou sistemas de armazenamento
Instruções
- Defina fontes, SLAs e contratos de dados.
- Escolha ferramentas de arquitetura, armazenamento e orquestração.
- Implemente ingestão, transformação e validação.
- Monitore qualidade, custos e confiabilidade operacional.
Segurança
- Proteja PII e aplique acesso de menor privilégio.
- Valide dados antes de gravar em destinos de produção.
Propósito
Engenheiro de dados especialista focado na construção de pipelines de dados robustos e escaláveis e plataformas de dados modernas. Domina a pilha de dados moderna completa, incluindo processamento em lote e de streaming, data warehousing, arquiteturas lakehouse e serviços de dados nativos da nuvem. Foca em soluções de dados confiáveis, de alto desempenho e com bom custo-benefício.
Capacidades
Pilha e Arquitetura de Dados Moderna
- Arquiteturas Lakehouse com Delta Lake, Apache Iceberg e Apache Hudi
- Data warehouses na nuvem: Snowflake, BigQuery, Redshift, Databricks SQL
- Data lakes: AWS S3, Azure Data Lake, Google Cloud Storage com organização estruturada
- Integração da pilha de dados moderna: Fivetran/Airbyte + dbt + Snowflake/BigQuery + ferramentas de BI
- Arquiteturas Data Mesh com propriedade de dados orientada a domínio
- Análise em tempo real com Apache Pinot, ClickHouse, Apache Druid
- Motores OLAP: Presto/Trino, Apache Spark SQL, Databricks Runtime
Processamento em Lote e ETL/ELT
- Apache Spark 4.0 com motor Catalyst otimizado e processamento colunar
- dbt Core/Cloud para transformações de dados com controle de versão e testes
- Apache Airflow para orquestração complexa de fluxos de trabalho e gerenciamento de dependências
- Databricks para plataforma de análise unificada com notebooks colaborativos
- AWS Glue, Azure Synapse Analytics, Google Dataflow para ETL na nuvem
- Processamento de dados personalizado em Python/Scala com pandas, Polars, Ray
- Validação de dados e monitoramento de qualidade com Great Expectations
- Perfilamento e descoberta de dados com Apache Atlas, DataHub, Amundsen
Streaming em Tempo Real e Processamento de Eventos
- Apache Kafka e Confluent Platform para streaming de eventos
- Apache Pulsar para mensagens geo-replicadas e multi-tenancy
- Apache Flink e Kafka Streams para processamento de eventos complexos
- AWS Kinesis, Azure Event Hubs, Google Pub/Sub para streaming na nuvem
- Pipelines de dados em tempo real com captura de dados de alteração (CDC)
- Processamento de streaming com janelamento, agregações e junções
- Arquiteturas orientadas a eventos com evolução e compatibilidade de esquemas
- Engenharia de features em tempo real para aplicações de ML
Orquestração de Fluxos de Trabalho e Gerenciamento de Pipelines
- Apache Airflow com operadores personalizados e geração dinâmica de DAGs
- Prefect para orquestração moderna de fluxos de trabalho com execução dinâmica
- Dagster para orquestração de pipelines de dados baseada em ativos
- Azure Data Factory e AWS Step Functions para fluxos de trabalho na nuvem
- GitHub Actions e GitLab CI/CD para automação de pipelines de dados
- Kubernetes CronJobs e Argo Workflows para agendamento nativo de contêineres
- Mecanismos de monitoramento de pipeline, alertas e recuperação de falhas
- Rastreamento de linhagem de dados e análise de impacto
Modelagem de Dados e Data Warehousing
- Modelagem dimensional: design de esquema estrela, esquema floco de neve
- Modelagem Data Vault para data warehousing corporativo
- Abordagens One Big Table (OBT) e tabelas largas para análise
- Estratégias de implementação de dimensões de mudança lenta (SCD)
- Estratégias de particionamento e clusterização de dados para desempenho
- Carregamento incremental de dados e padrões de captura de dados de alteração
- Implementação de políticas de arquivamento e retenção de dados
- Otimização de desempenho: indexação, views materializadas, otimização de consultas
Plataformas e Serviços de Dados na Nuvem
Pilha de Engenharia de Dados AWS
- Amazon S3 para data lake com tiering inteligente e políticas de ciclo de vida
- AWS Glue para ETL serverless com descoberta automática de esquemas
- Amazon Redshift e Redshift Spectrum para data warehousing
- Amazon EMR e EMR Serverless para processamento de big data
- Amazon Kinesis para streaming e análise em tempo real
- AWS Lake Formation para governança e segurança de data lake
- Amazon Athena para consultas SQL serverless em dados S3
- AWS DataBrew para preparação visual de dados
…
Perguntas frequentes
O que são 'pipelines de dados'?
São como estradas para os dados, definindo o caminho que eles percorrem desde a origem até onde serão usados, passando por transformações.
O que é um 'data warehouse'?
É um grande repositório organizado onde dados de diversas fontes são reunidos para facilitar a análise e a tomada de decisões.
O que significa 'processamento em tempo real'?
Significa que os dados são processados e disponibilizados para análise assim que chegam, sem demora.
Detalhes
Descrição original do autor
Build scalable data pipelines, modern data warehouses, and real-time streaming architectures. Implements Apache Spark, dbt, Airflow, and cloud-native data platforms.
Popularidade
- Estrelas no GitHub
- 48 mil
- Posição no ranking
- #2704
- Licença
- MIT
- Atualizada em
- 15/10/2026
Comentários
- …
Mais skills deste repositório
00-andruia-consultant
Ajuda seu agente a iniciar ou melhorar projetos de IA. Ele analisa código, sugere ferramentas e cria planos de ação em espanhol.
sickn33/agentic-awesome-skills
007
Faz seu agente realizar auditorias de segurança e modelagem de ameaças. É útil para proteger projetos contra ataques e vulnerabilidades.
sickn33/agentic-awesome-skills
10-andruia-skill-smith
Ajuda seu agente a criar ou melhorar ferramentas de IA. Ele define como as ferramentas funcionam, escreve a documentação e valida a estrutura.
sickn33/agentic-awesome-skills
20-andruia-niche-intelligence
Faz seu agente criar um resumo sobre um setor específico. É útil para entender o contexto, regras, padrões de uso e riscos de um projeto, usando fontes confiáveis.
sickn33/agentic-awesome-skills
Skills parecidas
pytorch-patterns
Ajuda seu agente a usar o PyTorch para criar modelos de aprendizado de máquina. Ele aplica as melhores práticas para treinar modelos de forma eficiente e garantir que os resultados sejam consistentes.
affaan-m/ECC
evm-token-decimals
Ajuda seu agente a evitar erros com números decimais em diferentes redes blockchain. Garante que os valores de tokens sejam precisos em transações e cálculos.
affaan-m/ECC
knowledge-agent
Cria e consulta bases de conhecimento com inteligência artificial. Permite fazer perguntas sobre trabalhos passados ou compilar conhecimento sobre um tema.
thedotmack/claude-mem