Dashboards SRE

Crie dashboards que ajudem as equipes a detectar, triar e prevenir incidentes de confiabilidade.

Quando Usar Esta Habilidade

Use esta habilidade quando:

• Definir dashboards de nível de serviço para sistemas de produção
• Rastrear a saúde do SLO e o consumo do orçamento de erros
• Criar visualizações de centro de comando de incidentes
• Padronizar padrões de dashboard entre equipes

Pré-requisitos

• Pipeline de métricas (Prometheus, OpenTelemetry ou equivalente do fornecedor)
• Logs/traces vinculados a serviços e ambientes
• Taxonomia de serviço acordada (equipe, serviço, nível, ambiente)

Arquitetura do Dashboard

Estruture os dashboards em camadas:

1. Visão Executiva de Confiabilidade: Atingimento de SLO, contagem de incidentes, tendências de MTTR.
2. Visão de Saúde do Serviço: Métricas RED/USE, saúde de dependências, marcadores de lançamento.
3. Visão de Análise Profunda: Latência por endpoint, saturação de recursos, categorias de erro.

Mantenha cada visão orientada a respostas:

• Os clientes estão sendo impactados?
• O que mudou?
• Onde está o gargalo?

Painéis Principais de SRE

Sinais de Ouro

• Latência: Duração da requisição p50/p95/p99 por endpoint
• Tráfego: Vazão de requisições e profundidade da fila
• Erros: Taxa de 5xx, jobs falhados, taxa de timeout
• Saturação: CPU, memória, I/O de disco, esgotamento de threads/conexões

Painéis de SLO

• Valor atual do SLI (janelas deslizantes: 5m, 1h, 24h, 30d)
• Orçamento de erros restante (%)
• Painéis de taxa de queima (janelas rápida e lenta)
• Status do alerta de taxa de queima multi-janela

Correlação de Mudanças

• Marcadores de implantação e anotações de mudança de configuração
• Sobreposições de estado de feature flag
• Taxas de erro de dependências upstream/downstream

Exemplos de Snippets PromQL

# API error rate (%)
100 * sum(rate(http_requests_total{status=~"5.."}[5m]))
  / sum(rate(http_requests_total[5m]))

# p95 latency by route
histogram_quantile(0.95,
  sum by (le, route) (rate(http_request_duration_seconds_bucket[5m]))
)

# Fast burn rate (5m / 1h)
(
  sum(rate(http_requests_total{status=~"5.."}[5m]))
  / sum(rate(http_requests_total[5m]))
)
/
(
  sum(rate(http_requests_total{status=~"5.."}[1h]))
  / sum(rate(http_requests_total[1h]))
)

Diretrizes Operacionais

• Use semântica de cores consistente (verde=saudável, amarelo=degradando, vermelho=violação)
• Rotule as unidades explicitamente (ms, req/s, %, cores)
• Janelas de tempo padrão para intervalos amigáveis a incidentes (15m, 1h, 6h, 24h)
• Minimize a contagem de painéis por dashboard para reduzir a carga cognitiva
• Adicione links de runbook diretamente nas descrições dos painéis

Solução de Problemas

Painel aparece plano ou vazio

• Verifique a cardinalidade de rótulos e filtros (service, env, region)
• Confirme se a latência de scrape/ingestão está dentro da faixa esperada
• Verifique regressões de renomeação de métricas após atualizações de instrumentação

Alta cardinalidade retarda dashboards

• Agregue por dimensões estáveis (service, route_group) em vez de IDs brutos
• Use regras de gravação para consultas caras de percentis e razões
• Separe dashboards de análise profunda dos dashboards de resumo do NOC

Habilidades Relacionadas

• prometheus-grafana (prometheus-grafana) - Implementação de dashboard e PromQL
• opentelemetry (opentelemetry) - Instrumentação de telemetria padronizada
• alerting-oncall (alerting-oncall) - Roteamento e escalonamento de alertas de confiabilidade
• agent-observability (agent-observability) - Telemetria de confiabilidade de cargas de trabalho de IA

Limitações

• A orientação é executada contra ambientes reais: confirme o alvo, o raio de impacto e o plano de rollback antes de aplicar qualquer coisa.
• Nunca implante em produção sem aprovação explícita. Importação apenas de documentação: scripts e modelos upstream não estão incluídos.

Exemplo

git status && git diff --stat
kubectl diff -f manifest.yaml

Adaptado de BagelHole/DevOps-Security-Agent-Skills (MIT); frontmatter, Quando Usar/Limitações e limites de segurança adicionados para conformidade upstream. Importação apenas de documentação: scripts e modelos auxiliares não estão incluídos.