Resposta a Incidentes de SRE com IA

Aplique o rigor de SRE a sistemas de IA onde incidentes incluem regressões de qualidade, saídas inseguras e explosões de orçamento.

Quando Usar Esta Habilidade

• Um endpoint de LLM começa a retornar respostas degradadas ou alucinadas
• O gasto de tokens dispara além dos limites do orçamento
• Um provedor de modelo fica indisponível e o tráfego precisa de failover
• Barreiras de segurança disparam em taxas anormais
• Uma nova implantação de modelo causa regressão de latência ou precisão

Pré-requisitos

• Prometheus e Alertmanager implantados com alvos de scrape para serviços de IA
• Dashboards Grafana para sinais de ouro (latência, taxa de erro, custo, qualidade)
• Rotação de plantão configurada no PagerDuty, Opsgenie ou equivalente
• Repositório de runbooks acessível aos respondedores
• Mecanismo de rollback para versões de modelo e prompt (GitOps ou feature flags)

Classes de Incidentes de IA

• Incidente de disponibilidade: modelo/provedor indisponível, tempestade de timeouts.
• Incidente de qualidade: precisão da resposta ou sucesso da ferramenta cai abaixo do SLO.
• Incidente de segurança: saídas prejudiciais ou que violam políticas aumentam.
• Incidente de custo: pico inesperado de gasto de tokens ou provedor.

Framework de Severidade

Sinais de Ouro para Serviços de IA

• Taxa de sucesso de requisições
• Latência (fila + geração + execução de ferramentas)
• Métricas proxy de alucinação/fundamentação
• Custo por minuto e por inquilino
• Taxa de violação de barreiras de segurança

Regras de Alerta do Prometheus

Os limites abaixo são ilustrativos. Calibre-os para o SLO declarado, unidades de métricas, orçamentos de inquilinos e carga de trabalho; um proxy de fundamentação não é uma medição de qualidade verificada. Taxas de contador são por segundo, então o alerta de custo por minuto multiplica explicitamente por 60.

# prometheus-ai-alerts.yaml
groups:
  - name: ai-service-alerts
    rules:
      - alert: ModelEndpointDown
        expr: up{job="llm-inference"} == 0
        for: 2m
        labels:
          severity: sev1
        annotations:
          summary: "LLM inference endpoint {{ $labels.instance }} is down"
          runbook_url: "https://runbooks.internal/ai/model-outage"

      - alert: HighHallucinationRate
        expr: |
          rate(llm_hallucination_detected_total[10m])
          / rate(llm_requests_total[10m]) > 0.15
        for: 5m
        labels:
          severity: sev2
        annotations:
          summary: "Hallucination rate above 15% for {{ $labels.model }}"
          runbook_url: "https://runbooks.internal/ai/quality-regression"

      - alert: TokenCostExplosion
        expr: |
          60 * sum(rate(llm_token_cost_dollars[5m])) by (tenant)
          > 0.50
        for: 3m
        labels:
          severity: sev2
        annotations:
          summary: "Token spend exceeds $0.50/min for tenant {{ $labels.tenant }}"
          runbook_url: "https://runbooks.internal/ai/cost-spike"

      - alert: LatencyP95Exceeded
        expr: |
          histogram_quantile(0.95,
            rate(llm_request_duration_seconds_bucket[5m])
          ) > 5
        for: 5m
        labels:
          severity: sev2
        annotations:
          summary: "LLM p95 latency exceeds 5s for {{ $labels.service }}"

      - alert: GuardrailViolationSpike
        expr: |
          rate(llm_guardrail_violations_total[10m])
          / rate(llm_requests_total[10m]) > 0.05
        for: 5m
        labels:
          severity: sev1
        annotations:
          summary: "Guardrail violations above 5% for {{ $labels.model }}"
          runbook_url: "https://runbooks.internal/ai/safety-incident"

      - alert: ModelQualityDrop
        expr: |
          llm_eval_score{metric="groundedness"} < 0.70
        for: 10m
        labels:
          severity: sev2
        annotations:
          summary: "Groundedness score dropped below 0.70 for {{ $labels.model }}"

      - alert: ProviderErrorRateHigh
        expr: |
          rate(llm_provider_errors_total[5m])
          / rate(llm_provider_requests_total[5m]) > 0.10
        for: 3m
        labels:
          severity: sev2
        annotations:
          summary: "Provider {{ $labels.provider }} error rate above 10%"

Playbooks de Resposta

…