Escalando para Latência de Consultas

A latência de uma única consulta é determinada pelo componente mais lento no caminho de execução da consulta. Às vezes, está correlacionada com a taxa de transferência, mas nem sempre — taxa de transferência e latência são direções de ajuste opostas.

A otimização de baixa latência visa utilizar a saturação máxima de recursos para uma única consulta, enquanto a otimização de taxa de transferência visa minimizar o uso de recursos por consulta para permitir mais consultas paralelas.

Ajuste de Desempenho para Menor Latência

• Aumente a contagem de segmentos para corresponder aos núcleos da CPU (default_segment_number: 16) Minimizando a latência
• Mantenha vetores quantizados e HNSW na RAM (always_ram=true)
• Reduza hnsw_ef no momento da consulta (troque recall por velocidade) Parâmetros de busca
• Use NVMe local, evite armazenamento conectado à rede

Pressão de Memória e Latência

A RAM é o recurso mais crítico para a latência. Se o conjunto de trabalho exceder a RAM disponível, a evacuação do cache do SO causa degradação severa e sustentada da latência.

• Escalone verticalmente a RAM primeiro. Crítico se o conjunto de trabalho for >80%.
• Use quantização: escalar (redução de 4x) ou binária (redução de 16x) Quantização
• Mova índices de payload para o disco se a filtragem for infrequente Índice de payload em disco
• Defina optimizer_cpu_budget para limitar as CPUs de otimização em segundo plano
• Agende a indexação: defina indexing_threshold alto durante o horário de pico

Escalamento Vertical para Latência

Mais RAM e CPU mais rápida reduzem diretamente a latência. Veja Escalamento Vertical para diretrizes de dimensionamento de nós.

O Que NÃO Fazer

• Não espere otimizar latência e taxa de transferência simultaneamente no mesmo nó
• Não use poucos segmentos grandes para cargas de trabalho sensíveis à latência (cada segmento leva mais tempo para ser pesquisado)
• Não opere com >90% de RAM (a evacuação do cache causa degradação severa da latência que pode durar dias)
• Não ignore o status do otimizador durante a depuração de desempenho
• Não reduza a RAM sem testes de carga (a evacuação do cache causa incidentes de latência de dias)