Entendendo o uso de memória

Qdrant opera com dois tipos de memória:

• Memória residente (também conhecida como RSSAnon) - memória usada para estruturas de dados internas, como o rastreador de IDs, mais componentes que devem permanecer na RAM, como vetores quantizados quando always_ram=true e índices de payload.

• Cache de página do SO - memória usada para armazenar em cache leituras de disco, que podem ser liberadas quando necessário. Vetores originais são normalmente armazenados no cache de página, então o serviço não falhará se a RAM estiver cheia, mas o desempenho pode degradar.

É normal que o cache de página do SO ocupe toda a RAM disponível, mas se a memória residente estiver acima de 80% da RAM total, isso é um sinal de problema.

Monitoramento do uso de memória

• Qdrant expõe o uso de memória através do endpoint /metrics. Veja Documentação de monitoramento.

Quanta memória é necessária para o Qdrant?

O uso ideal de memória depende do caso de uso.

• Para cenários de busca regulares, diretrizes gerais são fornecidas na Documentação de planejamento de capacidade.

Para uma análise detalhada do uso de memória em larga escala, veja Exemplo de uso de memória em larga escala.

Índices de payload e o grafo HNSW também requerem memória, juntamente com os próprios vetores, portanto, é importante considerá-los nos cálculos.

Adicionalmente, Qdrant requer alguma memória extra para otimizações. Durante a otimização, segmentos otimizados são totalmente carregados na RAM, então é importante deixar espaço livre suficiente. Quanto maior max_segment_size, mais espaço livre é necessário.

Quando colocar o índice HNSW em disco

Colocar componentes usados com frequência (como o índice HNSW) em disco pode causar uma degradação significativa de desempenho. Existem alguns cenários, no entanto, quando pode ser uma boa opção:

• Implantações com discos de baixa latência - NVMe local ou similar.
• Implantações multi-tenant, onde apenas um subconjunto de tenants é acessado com frequência, de modo que apenas uma fração dos dados e do índice é carregada na RAM por vez.
• Para implantações com armazenamento inline habilitado.

Como minimizar o uso de memória

O principal desafio é colocar em disco as partes dos dados que raramente são acessadas. Aqui estão as principais técnicas para alcançar isso:

• Use quantização para armazenar apenas vetores compactados na RAM Documentação de quantização.

• Use tipos de dados float16 ou int8 para reduzir o uso de memória dos vetores em 2x ou 4x respectivamente, com alguma perda de precisão. Leia mais sobre tipos de dados de vetor na documentação.

• Aproveite o Matryoshka Representation Learning (MRL) para armazenar apenas vetores pequenos na RAM enquanto mantém vetores grandes em disco. Exemplos de como usar MRL com inferência do Qdrant Cloud: Documentação MRL.

• Para implantações multi-tenant com tenants pequenos, vetores podem ser armazenados em disco porque os dados do mesmo tenant são armazenados juntos Documentação multi-tenancy.

• Para implantações com armazenamento local rápido e requisitos relativamente baixos para taxa de transferência de busca, pode ser possível armazenar todos os componentes do banco de dados de vetores em disco. Leia mais sobre as implicações de desempenho do armazenamento em disco no artigo.

• Para ambientes com pouca RAM, considere a configuração async_scorer, que habilita o suporte para io_uring para acesso paralelo a disco, o que pode melhorar significativamente o desempenho do armazenamento em disco. Leia mais sobre async_scorer no artigo (disponível apenas no Linux com kernel 5.11+).

• Considere armazenar Vetores Esparsos e payload de texto em disco, pois eles geralmente são mais amigáveis ao disco do que vetores densos.

• Configure índices de payload para serem armazenados em disco docs.

• Configure vetores esparsos para serem armazenados em disco docs.