Pipeline de Machine Learning - Orquestração MLOps Multi-Agente

Projete e implemente um pipeline de ML completo para: $ARGUMENTS

Use esta habilidade quando

• Trabalhando em tarefas ou fluxos de trabalho de orquestração MLOps multi-agente de pipeline de machine learning
• Precisando de orientação, melhores práticas ou checklists para orquestração MLOps multi-agente de pipeline de machine learning

Não use esta habilidade quando

• A tarefa não estiver relacionada à orquestração MLOps multi-agente de pipeline de machine learning
• Você precisar de um domínio ou ferramenta diferente fora deste escopo

Instruções

• Clarifique objetivos, restrições e entradas necessárias.
• Aplique melhores práticas relevantes e valide os resultados.
• Forneça etapas acionáveis e verificação.

Pensamento

Este fluxo de trabalho orquestra múltiplos agentes especializados para construir um pipeline de ML pronto para produção, seguindo as melhores práticas modernas de MLOps. A abordagem enfatiza:

• Coordenação baseada em fases: Cada fase se baseia nos resultados anteriores, com transferências claras entre os agentes
• Integração de ferramentas modernas: MLflow/W&B para experimentos, Feast/Tecton para features, KServe/Seldon para serving
• Mentalidade "production-first": Cada componente projetado para escalabilidade, monitoramento e confiabilidade
• Reprodutibilidade: Controle de versão para dados, modelos e infraestrutura
• Melhoria contínua: Retreinamento automatizado, testes A/B e detecção de drift

A abordagem multi-agente garante que cada aspecto seja tratado por especialistas de domínio:

• Engenheiros de dados lidam com ingestão e qualidade
• Cientistas de dados projetam features e experimentos
• Engenheiros de ML implementam pipelines de treinamento
• Engenheiros de MLOps lidam com implantação em produção
• Engenheiros de observabilidade garantem o monitoramento

Fase 1: Análise de Dados e Requisitos

<Task> subagent_type: data-engineer prompt: | Analise e projete o pipeline de dados para o sistema de ML com os requisitos: $ARGUMENTS

Entregáveis:

1. Auditoria de fontes de dados e estratégia de ingestão:

   • Sistemas de origem e padrões de conexão
   • Validação de esquema usando Pydantic/Great Expectations
   • Versionamento de dados com DVC ou lakeFS
   • Estratégias de carregamento incremental e CDC

2. Framework de qualidade de dados:

   • Geração de perfil e estatísticas
   • Regras de detecção de anomalias
   • Rastreamento de linhagem de dados
   • Portões de qualidade e SLAs

3. Arquitetura de armazenamento:

   • Camadas de dados brutos/processados/features
   • Estratégia de particionamento
   • Políticas de retenção
   • Otimização de custos

Forneça código de implementação para componentes críticos e padrões de integração. </Task>

<Task> subagent_type: data-scientist prompt: | Projete a engenharia de features e os requisitos do modelo para: $ARGUMENTS Usando a arquitetura de dados de: {phase1.data-engineer.output}

Entregáveis:

1. Pipeline de engenharia de features:

   • Especificações de transformação
   • Esquema da feature store (Feast/Tecton)
   • Regras de validação estatística
   • Estratégias de tratamento para dados ausentes/outliers

2. Requisitos do modelo:

   • Racional para seleção de algoritmo
   • Métricas de desempenho e baselines
   • Requisitos de dados de treinamento
   • Critérios e limiares de avaliação

3. Design de experimento:

   • Hipótese e métricas de sucesso
   • Metodologia de teste A/B
   • Cálculos de tamanho de amostra
   • Abordagem de detecção de viés

Inclua código de transformação de features e lógica de validação estatística. </Task>

Fase 2: Desenvolvimento e Treinamento de Modelos

<Task> subagent_type: ml-engineer prompt: | Implemente o pipeline de treinamento com base nos requisitos: {phase1.data-scientist.output} Usando o pipeline de dados: {phase1.data-engineer.output}

Construa um sistema de treinamento abrangente:

1. Implementação do pipeline de treinamento:

   • Código de treinamento modular com interfaces claras
   • Otimização de hiperparâmetros (Optuna/Ray Tune)
   • Suporte a treinamento distribuído (Horovod/PyTorch DDP)
   • Estratégias de validação cruzada e ensemble

2. Configuração de rastreamento de experimentos:

   • Integração MLflow/Weights & Biases
   • Registro e visualização de métricas
   • Gerenciamento de artefatos (modelos, plots, amostras de dados)
   • Ferramentas de comparação e análise de experimentos

3. Integração com o registro de modelos:

   • Estratégia de controle de versão e tagging
   • Metadados e linhagem do modelo
   • Fluxos de promoção (dev -> staging -> prod)
   • Procedimentos de rollback

Forneça código de treinamento completo com gerenciamento de configuração. </Task>

<Task> subagent_type: python-pro prompt: | Otimize e produza código de ML de: {phase2.ml-engineer.output}

Áreas de foco:

1. Qualidade e estrutura do código:

…