Gerenciamento de Servidores GPU

Provisione, configure e monitore servidores NVIDIA GPU para cargas de trabalho de inferência e treinamento de IA.

Quando Usar Esta Habilidade

Use esta habilidade quando:

• Configurando um novo servidor GPU para inferência de LLM ou treinamento de modelo
• Instalando ou atualizando drivers NVIDIA e o toolkit CUDA
• Configurando o Docker com o NVIDIA Container Toolkit para cargas de trabalho de GPU
• Particionando GPUs A100/H100 com MIG para cargas de trabalho multi-tenant
• Solucionando erros de GPU, problemas de driver ou limitação térmica

Pré-requisitos

• Ubuntu 22.04 LTS (recomendado) ou RHEL 8/9
• GPU NVIDIA (A10G, A100, H100, RTX 4090 ou L40S recomendadas)
• Acesso root ou sudo
• Acesso à internet para download de pacotes

Instalação de Drivers (Ubuntu)

# Remove old drivers
sudo apt purge -y 'nvidia*' 'cuda*' 'libcuda*'
sudo apt autoremove -y

# Add NVIDIA package repository
distribution=$(. /etc/os-release; echo $ID$VERSION_ID)
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
  sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update

# Install latest driver (560.x as of 2025)
sudo apt install -y nvidia-driver-560 cuda-toolkit-12-6

# Install NVIDIA Container Toolkit (Docker GPU support)
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

# Verify
nvidia-smi
nvcc --version
docker run --rm --gpus all nvidia/cuda:12.6.0-base-ubuntu22.04 nvidia-smi

Configuração Pós-Instalação

# Enable persistence mode (reduces driver initialization latency)
sudo nvidia-smi -pm 1

# Set power limit (reduce heat/noise on inference servers)
sudo nvidia-smi -pl 350          # watts; check TDP for your GPU model

# Disable ECC on inference servers (frees ~6% VRAM, less safe)
sudo nvidia-smi --ecc-config=0   # requires reboot

# Enable P2P for multi-GPU NVLink training
sudo nvidia-smi topo -m          # check NVLink topology

Monitoramento de Saúde da GPU

# Real-time monitoring (like htop for GPUs)
watch -n 1 nvidia-smi

# Detailed stats
nvidia-smi --query-gpu=index,name,temperature.gpu,utilization.gpu,\
utilization.memory,memory.used,memory.free,power.draw,clocks.current.graphics \
--format=csv --loop=1

# DCGM — production monitoring daemon (for clusters)
sudo apt install -y datacenter-gpu-manager
sudo systemctl start dcgm
dcgmi discovery -l                # list GPUs
dcgmi diag -r 1                  # quick health check
dcgmi diag -r 3                  # full diagnostic (takes ~20 min)

# Check GPU errors (XID errors — important for stability)
sudo dmesg | grep -i "NVRM\|nvidia\|XID"
nvidia-smi --query-gpu=ecc.errors.corrected.volatile.total \
  --format=csv,noheader

Métricas de GPU Prometheus (DCGM Exporter)

# Deploy DCGM Exporter for Prometheus scraping
docker run -d \
  --name dcgm-exporter \
  --gpus all \
  --cap-add SYS_ADMIN \
  -p 9400:9400 \
  --restart unless-stopped \
  nvcr.io/nvidia/k8s/dcgm-exporter:latest

# Key metrics exposed:
# DCGM_FI_DEV_GPU_UTIL          - GPU utilization %
# DCGM_FI_DEV_MEM_COPY_UTIL     - Memory bandwidth utilization
# DCGM_FI_DEV_FB_USED           - Framebuffer memory used (MB)
# DCGM_FI_DEV_SM_CLOCK          - SM clock speed (MHz)
# DCGM_FI_DEV_GPU_TEMP          - Temperature (°C)
# DCGM_FI_DEV_POWER_USAGE       - Power draw (W)
# DCGM_FI_DEV_XID_ERRORS        - XID error count (0 = healthy)

Particionamento MIG (A100/H100)

MIG (Multi-Instance GPU) permite fatiar uma GPU em GPUs menores isoladas.

# Habilita o modo MIG (requer reinicialização ou reinício de todos os processos)
sudo nvidia-smi -mig 1
sudo systemctl restart nvidia-persistenced

# Lista os perfis MIG disponíveis (exemplo A100 80GB)
nvidia-smi mig -lgip
# 1g.10gb   — 1 fatia, 10GB (máx 7 instâncias)
# 2g.20gb   — 2 fatias, 20GB (máx 3 instâncias)
# 3g.40gb   — 3 fatias, 40GB (máx 2 instâncias)
# 7g.80gb   — GPU completa, 80GB (máx 1 instância)

# Cria instâncias MIG (ex: 3× 2g.20gb + 1× 2g.20gb = multi-tenant)
sudo nvidia-smi mig -cgi 2g.20gb,2g.20gb,2g.20gb,2g.20gb -C

# Lista as instâncias criadas
nvidia-smi mig -lgi
nvidia-smi mig -lcgi

# Usa no Docker
docker run --gpus '"device=MIG-GPU-xxx/0/0"' ...

# Desabilita MIG
sudo nvidia-smi mig -i 0 -dci

…