Malha de Serviço de Inferência de IA

Aplique controles de malha Istio/Linkerd para proteger e otimizar o tráfego de IA leste-oeste entre microsserviços de inferência.

Por que usar Malha para IA

• Aplique mTLS entre gateway, retriever, reranker e serviços de modelo
• Aplique políticas de tráfego granulares sem alterações no código do aplicativo
• Execute entrega progressiva para backends de serviço de modelo
• Observe saltos de latência para cadeias de recuperação + geração
• Roteie requisições de inferência por versão do modelo, tenant ou nível de prioridade
• Proteja serviços caros com suporte a GPU contra falhas em cascata

Pré-requisitos

Confirme o cluster/contexto exato, versão da malha, esquemas de CRD, namespace de propriedade e escopo de mutação autorizado. Exemplos são fragmentos alternativos, não um manifesto para aplicar integralmente; múltiplas DestinationRules para o mesmo host devem ser consolidadas sob as regras de mesclagem da versão instalada. Visualize e valide em um ambiente descartável; proteja rotas de produção e evidências de rollback.

# Illustrative mutating install; default is not a validated production configuration
istioctl install --set profile=default \
  --set meshConfig.accessLogFile=/dev/stdout \
  --set meshConfig.defaultConfig.holdApplicationUntilProxyStarts=true

# Label inference namespace for sidecar injection
kubectl create namespace ai-inference
kubectl label namespace ai-inference istio-injection=enabled

# Verify installation
istioctl verify-install
istioctl analyze -n ai-inference

Padrões Principais

Modo Estrito de mTLS em Todo o Cluster

apiVersion: security.istio.io/v1beta1
kind: PeerAuthentication
metadata:
  name: default
  namespace: istio-system
spec:
  mtls:
    mode: STRICT
---
# Namespace-level override if needed for gradual rollout
apiVersion: security.istio.io/v1beta1
kind: PeerAuthentication
metadata:
  name: ai-inference-mtls
  namespace: ai-inference
spec:
  mtls:
    mode: STRICT
  portLevelMtls:
    # gRPC inference port
    8081:
      mode: STRICT
    # Prometheus metrics port - allow plaintext scraping
    9090:
      mode: PERMISSIVE

AuthorizationPolicy Por Conta de Serviço

apiVersion: security.istio.io/v1beta1
kind: AuthorizationPolicy
metadata:
  name: model-server-access
  namespace: ai-inference
spec:
  selector:
    matchLabels:
      app: model-server
  action: ALLOW
  rules:
  - from:
    - source:
        principals:
        - "cluster.local/ns/ai-inference/sa/api-gateway"
        - "cluster.local/ns/ai-inference/sa/orchestrator"
    to:
    - operation:
        methods: ["POST"]
        paths: ["/v1/predict", "/v1/embeddings", "/v2/models/*/infer"]
---
apiVersion: security.istio.io/v1beta1
kind: AuthorizationPolicy
metadata:
  name: deny-external-to-retriever
  namespace: ai-inference
spec:
  selector:
    matchLabels:
      app: vector-retriever
  action: DENY
  rules:
  - from:
    - source:
        notNamespaces: ["ai-inference"]

Política de Saída para Endereços de Modelo Aprovados

apiVersion: networking.istio.io/v1alpha3
kind: ServiceEntry
metadata:
  name: openai-api
  namespace: ai-inference
spec:
  hosts:
  - api.openai.com
  ports:
  - number: 443
    name: https
    protocol: TLS
  resolution: DNS
  location: MESH_EXTERNAL

Um ServiceEntry registra um serviço; não é um firewall de saída completo. O Namespace AuthorizationPolicy controla requisições para workloads selecionados, não HTTPS de saída arbitrário por host de destino. Aplique saída aprovada através de um gateway/política de rede verificada e teste rotas de bypass. Para HTTPS originado pelo aplicativo, não origine também TLS em uma DestinationRule sem uma rota HTTP para TLS projetada (TLS duplo quebra a conexão).

Orientação oficial: Controle de saída do Istio.

Gerenciamento de Tráfego

VirtualService para Teste de Modelo A/B

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: model-server
  namespace: ai-inference
spec:
  hosts:
  - model-server
  http:
  # Roteia por cabeçalho para seleção explícita de versão do modelo
  - match:
    - headers:
        x-model-version:
          exact: "v2-experimental"
    route:
    - destination:
        host: model-server
        subset: v2-experimental
    timeout: 120s
  # Roteia por cabeçalho para coorte de teste A/B
  - match:
    - headers:
        x-ab-cohort:
          exact: "treatment"
    route:
    - destination:
        host: model-server
        subset: v2-experimental
      weight: 100
    timeout: 120s

…