Engenharia de Plataforma LLMOps

Projete e opere uma plataforma interna de LLM que suporte experimentação rápida sem comprometer a confiabilidade, o custo ou a conformidade.

Quando Usar Esta Habilidade

• Construir uma plataforma interna para equipes implantarem e gerenciarem recursos com LLM
• Projetar pipelines de CI/CD que incluam portões de avaliação de modelos
• Configurar infraestrutura de teste A/B para versões de modelos
• Criar infraestrutura de serviço de modelos baseada em Kubernetes
• Estabelecer fluxos de trabalho de governança para promoção de modelos

Pré-requisitos

• Cluster Kubernetes com pools de nós GPU (ou acesso à API de inferência na nuvem)
• Registro de contêineres (Harbor, ECR, GCR ou ACR)
• Sistema de CI/CD (GitHub Actions, GitLab CI ou Argo Workflows)
• Pilha de observabilidade (Prometheus + Grafana + OpenTelemetry)
• Registro de modelos (MLflow ou armazenamento de metadados personalizado)

Resultados

• Caminho padronizado da experimentação para a produção
• Implantação segura de modelos com portões de qualidade e segurança
• Módulos de infraestrutura repetíveis para inferência, banco de dados vetorial e observabilidade
• Modelo de propriedade claro entre as equipes de plataforma, aplicativo e segurança

Arquitetura de Referência

1. Plano de Controle: registro de modelos, catálogo de prompts/versões, verificações de políticas, pipeline de avaliação.
2. Plano de Dados: gateway de inferência, banco de dados vetorial, cache, armazenamento de recursos.
3. Plano de Operações: telemetria, alertas, painéis de SLO, análise de custos.
4. Plano de Segurança: limites de IAM, rotação de segredos, filtros de conteúdo, logs de auditoria.

Pipeline de Promoção de Modelos

# .github/workflows/model-promotion.yaml
name: Pipeline de Promoção de Modelos
on:
  workflow_dispatch:
    inputs:
      model_name:
        description: "Identificador do modelo"
        required: true
      model_version:
        description: "Versão do modelo a ser promovida"
        required: true
      target_env:
        description: "Ambiente de destino"
        required: true
        type: choice
        options: [staging, production]

jobs:
  evaluate:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4

      - name: Executar suíte de avaliação de qualidade
        run: |
          python -m evals.run \
            --model "${{ inputs.model_name }}:${{ inputs.model_version }}" \
            --suite quality \
            --output results/quality.json

      - name: Executar suíte de avaliação de segurança
        run: |
          python -m evals.run \
            --model "${{ inputs.model_name }}:${{ inputs.model_version }}" \
            --suite safety \
            --output results/safety.json

      - name: Executar benchmark de latência
        run: |
          python -m evals.benchmark \
            --model "${{ inputs.model_name }}:${{ inputs.model_version }}" \
            --concurrent-users 50 \
            --duration 300 \
            --output results/latency.json

      - name: Verificação de portão - qualidade
        run: |
          python -m evals.gate_check \
            --results results/quality.json \
            --threshold-file thresholds/quality.yaml

      - name: Verificação de portão - segurança
        run: |
          python -m evals.gate_check \
            --results results/safety.json \
            --threshold-file thresholds/safety.yaml

      - name: Verificação de portão - latência
        run: |
          python -m evals.gate_check \
            --results results/latency.json \
            --threshold-file thresholds/latency.yaml

      - name: Carregar evidências de avaliação
        uses: actions/upload-artifact@v4
        with:
          name: eval-results-${{ inputs.model_version }}
          path: results/

  approve:
    needs: evaluate
    runs-on: ubuntu-latest
    environment: ${{ inputs.target_env }}
    steps:
      - name: Registrar aprovação
        run: |
          echo "Aprovado por: ${{ github.actor }}"
          echo "Modelo: ${{ inputs.model_name }}:${{ inputs.model_version }}"
          echo "Destino: ${{ inputs.target_env }}"
          echo "Hora: $(date -u +%Y-%m-%dT%H:%M:%SZ)"

  deploy:
    needs: approve
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4

      - name: Implantar canário
        run: |
          kubectl set image deployment/${{ inputs.model_name }}-canary \
            model=${{ inputs.model_name }}:${{ inputs.model_version }} \
            -n ai-${{ inputs.target_env }}

      - name: Aguardar validação do canário (15 min)
        run: |
          python -m canary.validate \
            --deployment ${{ inputs.model_name }}-canary \
            --namespace ai-${{ inputs.target_env }} \
            --duration 900 \
            --quality-threshold 0.85 \

…