Escalando para Vazão de Consultas (QPS)

Escalar a vazão significa lidar com mais consultas paralelas por segundo. Isso é diferente de latência - vazão e latência são direções de ajuste opostas e não podem ser otimizadas simultaneamente no mesmo nó.

Alta vazão favorece segmentos menores e mais numerosos para que cada consulta toque menos sobrecarga.

Ajuste de Desempenho para RPS Mais Alto

• Use menos segmentos, maiores (default_segment_number: 2) Maximizando a vazão
• Habilite a quantização com always_ram=true para reduzir o IO de disco Quantização
• Use a API de busca em lote para amortizar a sobrecarga Busca em lote

Minimizar o Impacto de Cargas de Trabalho de Atualização

• Configure o controle de vazão de atualização (v1.17+) para evitar que buscas não otimizadas degradem leituras Busca de baixa latência
• Defina optimizer_cpu_budget para limitar as CPUs de indexação (por exemplo, 2 em um nó de 8 CPUs reserva 6 para consultas)
• Configure o fan-out de leitura atrasado (v1.17+) para latência de cauda Fan-outs atrasados

Escala Horizontal para Vazão

Se um único nó estiver saturado de CPU após aplicar o ajuste acima, escale horizontalmente com réplicas de leitura.

• Réplicas de shard atendem consultas de shards replicados, distribuindo a carga de leitura entre os nós
• Cada réplica adiciona capacidade de consulta independente sem re-shard
• Use replication_factor: 2+ e direcione leituras para réplicas Implantação distribuída

Veja também Escala Horizontal para orientação geral sobre escala horizontal.

Gargalos de I/O de Disco

Se não for possível manter todos os vetores na RAM, o I/O de disco pode se tornar o gargalo para a vazão. Neste caso:

• Atualize para IOPS provisionado ou NVMe local primeiro. Veja o impacto do desempenho do disco na busca de vetores no artigo de desempenho de disco
• Use io_uring no Linux (kernel 5.11+) artigo io_uring
• No caso de vetores quantizados, prefira o re-scoring global em vez do re-scoring por segmento para reduzir leituras de disco. Exemplo no tutorial
• Configure um número maior de threads de busca para paralelizar leituras de disco. O padrão é cpu_count - 1, que é ideal para busca baseada em RAM, mas pode ser muito baixo para busca baseada em disco. Veja referência de configuração
• Se ainda saturado, escale horizontalmente (cada nó adiciona IOPS independentes)

O Que NÃO Fazer

• Não espere otimizar vazão e latência simultaneamente no mesmo nó
• Não use muitos segmentos pequenos para cargas de trabalho de vazão (aumenta a sobrecarga por consulta)
• Não escale horizontalmente quando limitado por IOPS sem também atualizar o nível do disco
• Não execute com mais de 90% de RAM (evicção de cache do SO = degradação severa de desempenho)