Disponibilidade de Material de Apoio

Este texto do catálogo contém as orientações inline abaixo, mas não inclui os seguintes caminhos de suporte. Eles são pré-requisitos externos, não arquivos incluídos:

• <support-root>/assets/pipeline-dag.yaml.template
• <support-root>/references/data-preparation.md
• <support-root>/references/model-training.md

Solicite o material de apoio original ou uma instalação existente antes de usar uma etapa que dependa desses caminhos; este catálogo não identifica uma fonte de download verificada para eles. Resolva cada caminho em relação a essa instalação, inspecione seu conteúdo e verifique quaisquer licenças e pré-requisitos de execução aplicáveis. Não execute um comando ou afirme que um procedimento referenciado foi seguido até que seu arquivo necessário exista. Não fabrique os scripts ausentes nem trate um arquivo não relacionado com o mesmo nome como equivalente. Etapas independentes totalmente documentadas aqui podem prosseguir dentro do escopo autorizado do usuário; relate qualquer etapa dependente como indisponível.

Fluxo de Trabalho de Pipeline de ML

Orquestração completa de pipeline MLOps de ponta a ponta, desde a preparação de dados até a implantação do modelo.

Não use esta habilidade quando

• A tarefa não está relacionada ao fluxo de trabalho do pipeline de ML
• Você precisa de um domínio ou ferramenta diferente fora deste escopo

Instruções

• Clarifique objetivos, restrições e entradas necessárias.
• Aplique as melhores práticas relevantes e valide os resultados.
• Forneça etapas acionáveis e verificação.

Visão Geral

Esta habilidade fornece orientação abrangente para a construção de pipelines de ML de produção que lidam com o ciclo de vida completo: ingestão de dados → preparação → treinamento → validação → implantação → monitoramento.

Use esta habilidade quando

• Construindo novos pipelines de ML do zero
• Projetando orquestração de fluxo de trabalho para sistemas de ML
• Implementando automação de dados → modelo → implantação
• Configurando fluxos de trabalho de treinamento reproduzíveis
• Criando orquestração de ML baseada em DAG
• Integrando componentes de ML em sistemas de produção

O que esta habilidade oferece

Capacidades Principais

1. Arquitetura de Pipeline

   • Design de fluxo de trabalho de ponta a ponta
   • Padrões de orquestração DAG (Airflow, Dagster, Kubeflow)
   • Dependências de componentes e fluxo de dados
   • Estratégias de tratamento de erros e retentativas

2. Preparação de Dados

   • Validação de dados e verificações de qualidade
   • Pipelines de engenharia de features
   • Versionamento de dados e linhagem
   • Estratégias de divisão treino/validação/teste

3. Treinamento de Modelo

   • Orquestração de jobs de treinamento
   • Gerenciamento de hiperparâmetros
   • Integração de rastreamento de experimentos
   • Padrões de treinamento distribuído

4. Validação de Modelo

   • Frameworks de validação e métricas
   • Infraestrutura de teste A/B
   • Detecção de regressão de desempenho
   • Fluxos de trabalho de comparação de modelos

5. Automação de Implantação

   • Padrões de serviço de modelo
   • Implantações Canary
   • Estratégias de implantação Blue-green
   • Mecanismos de rollback

Documentação de Referência

Veja o diretório references/ para guias detalhados:

• data-preparation.md - Limpeza, validação e engenharia de features de dados
• model-training.md - Fluxos de trabalho de treinamento e melhores práticas
• model-validation.md - Estratégias de validação e métricas
• model-deployment.md - Padrões de implantação e arquiteturas de serviço

Ativos e Modelos

O diretório assets/ contém:

• pipeline-dag.yaml.template - Modelo DAG para orquestração de fluxo de trabalho
• training-config.yaml - Modelo de configuração de treinamento
• validation-checklist.md - Checklist de validação pré-implantação

Padrões de Uso

Configuração Básica de Pipeline

# 1. Define pipeline stages
stages = [
    "data_ingestion",
    "data_validation",
    "feature_engineering",
    "model_training",
    "model_validation",
    "model_deployment"
]

# 2. Configure dependencies
# See assets/pipeline-dag.yaml.template for full example

Fluxo de Trabalho de Produção

1. Fase de Preparação de Dados

   • Ingerir dados brutos de fontes
   • Executar verificações de qualidade de dados
   • Aplicar transformações de features
   • Versionar conjuntos de dados processados

2. Fase de Treinamento

   • Carregar dados de treinamento versionados
   • Executar jobs de treinamento
   • Rastrear experimentos e métricas
   • Salvar modelos treinados

3. Fase de Validação

   • Executar suíte de testes de validação
   • Comparar com a linha de base
   • Gerar relatórios de desempenho
   • Aprovar para implantação

4. Fase de Implantação

   • Empacotar artefatos do modelo
   • Implantar na infraestrutura de serviço
   • Configurar monitoramento
   • Validar tráfego de produção

Melhores Práticas

Design de Pipeline

…