Operações de GPU no Kubernetes

Execute clusters de GPU resilientes e com bom custo-benefício para cargas de trabalho de IA em produção.

Quando Usar Esta Habilidade

• Configurar pools de nós de GPU no Kubernetes para inferência ou treinamento de IA
• Configurar o plugin de dispositivo NVIDIA e o operador de GPU
• Implementar o particionamento MIG para compartilhar GPUs entre cargas de trabalho
• Construir políticas de escalonamento automático cientes de GPU
• Monitorar a saúde da GPU com DCGM e Prometheus
• Solucionar problemas de agendamento de GPU, driver ou OOM (Out Of Memory)

Pré-requisitos

• Cluster Kubernetes 1.28+ com nós capazes de GPU
• GPUs NVIDIA (A10, L4, A100, H100 ou similar)
• Drivers NVIDIA instalados nos nós (535+ recomendado)
• Helm 3 para instalação do operador e do plugin
• Stack Prometheus para coleta de métricas

Instalação do Operador de GPU NVIDIA

O Operador de GPU automatiza a implantação de drivers, toolkit, plugin de dispositivo e DCGM.

# Add NVIDIA Helm repo
helm repo add nvidia https://helm.ngc.nvidia.com/nvidia
helm repo update

# Install GPU Operator
helm install gpu-operator nvidia/gpu-operator \
  --namespace gpu-operator \
  --create-namespace \
  --set driver.enabled=true \
  --set toolkit.enabled=true \
  --set devicePlugin.enabled=true \
  --set dcgmExporter.enabled=true \
  --set migManager.enabled=true \
  --set nodeStatusExporter.enabled=true \
  --version v24.3.0

# Verify installation
kubectl get pods -n gpu-operator
kubectl get nodes -o json | jq '.items[].status.allocatable["nvidia.com/gpu"]'

Plugin de Dispositivo NVIDIA (Autônomo)

Se não estiver usando o Operador de GPU, implante o plugin de dispositivo diretamente.

# nvidia-device-plugin.yaml
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: nvidia-device-plugin
  namespace: kube-system
spec:
  selector:
    matchLabels:
      name: nvidia-device-plugin
  template:
    metadata:
      labels:
        name: nvidia-device-plugin
    spec:
      tolerations:
        - key: nvidia.com/gpu
          operator: Exists
          effect: NoSchedule
      priorityClassName: system-node-critical
      containers:
        - name: nvidia-device-plugin
          image: nvcr.io/nvidia/k8s-device-plugin:v0.15.0
          securityContext:
            privileged: true
          env:
            - name: FAIL_ON_INIT_ERROR
              value: "false"
            - name: DEVICE_SPLIT_COUNT
              value: "1"
            - name: DEVICE_LIST_STRATEGY
              value: "envvar"
          volumeMounts:
            - name: device-plugin
              mountPath: /var/lib/kubelet/device-plugins
      volumes:
        - name: device-plugin
          hostPath:
            path: /var/lib/kubelet/device-plugins

Particionamento MIG (Multi-Instance GPU)

O MIG permite que uma única A100 ou H100 seja dividida em instâncias de GPU isoladas.

# mig-config.yaml - ConfigMap for MIG Manager
apiVersion: v1
kind: ConfigMap
metadata:
  name: mig-parted-config
  namespace: gpu-operator
data:
  config.yaml: |
    version: v1
    mig-configs:
      # 7 small instances for inference microservices
      all-1g.10gb:
        - devices: all
          mig-enabled: true
          mig-devices:
            "1g.10gb": 7

      # 3 medium instances for mid-size models
      all-2g.20gb:
        - devices: all
          mig-enabled: true
          mig-devices:
            "2g.20gb": 3

      # Mixed: 1 large + 2 small
      mixed-inference:
        - devices: all
          mig-enabled: true
          mig-devices:
            "3g.40gb": 1
            "1g.10gb": 4

      # Full GPU for training (no partitioning)
      all-disabled:
        - devices: all
          mig-enabled: false

# Apply MIG profile to a node
kubectl label nodes gpu-node-01 nvidia.com/mig.config=all-1g.10gb --overwrite

# Verify MIG instances
kubectl exec -it nvidia-device-plugin-xxxxx -n kube-system -- nvidia-smi mig -lgi

# Check available MIG resources
kubectl get nodes gpu-node-01 -o json | jq '.status.allocatable | with_entries(select(.key | startswith("nvidia.com")))'

Solicitar Fatias MIG em Pods

# pod-with-mig.yaml
apiVersion: v1
kind: Pod
metadata:
  name: inference-small
spec:
  containers:
    - name: model
      image: registry.internal/vllm-server:latest
      resources:
        limits:
          nvidia.com/mig-1g.10gb: 1
      # For medium slice:
      # nvidia.com/mig-2g.20gb: 1
      # For large slice:
      # nvidia.com/mig-3g.40gb: 1

Compartilhamento de Tempo de GPU (Time-Slicing)

Para GPUs que não suportam MIG (A10, L4), use o compartilhamento de tempo para dividir uma GPU.

# time-slicing-config.yaml

…