Vaex

Quando usar

Use Vaex para análise colunar em uma única máquina quando os dados excederem a RAM, especialmente para reduções repetidas e histogramas em arquivos HDF5 ou Arrow locais do Vaex. Expressões e colunas virtuais adiam a computação; reduções normalmente executam imediatamente. O armazenamento fora da memória não torna todas as operações limitadas pela memória: ordenação, junções, dicionários de grupo grandes, materialização e muitos ajustes de estimadores precisam de RAM substancial.

Instalação e escopo verificado

Use um ambiente separado; o Python padrão do repositório é mais novo do que esta versão suporta:

uv venv --python 3.12 .venv-vaex
uv pip install --python .venv-vaex/bin/python "vaex-core==4.19.0" "vaex-hdf5==0.15.0" "vaex-viz==0.6.0"
# Optional ML (also installs its declared estimator dependencies):
uv pip install --python .venv-vaex/bin/python "vaex-ml==0.19.0"

No Windows, use .venv-vaex\Scripts\python.exe como o caminho do interpretador. O metapacote vaex 4.19.0 instala mais integrações; ele não é necessário para o fluxo de trabalho principal. O Core 4.19.0 declara Python >=3.9,<3.13, pandas <3, Dask <2024.9 e NumPy <3. Não atualize essas restrições independentemente. O suporte ao Arrow está no core; FITS precisa de vaex-astro. Rodas binárias compatíveis determinam a disponibilidade da plataforma; compilar a dependência opcional annoy requer um toolchain C++, não apenas cabeçalhos Python.

Verificações nativas usaram Python 3.12, core 4.19.0, HDF5 0.15.0, viz 0.6.0, ML 0.19.0, NumPy 2.5.3, pandas 2.3.3, PyArrow 25.0.1 e Matplotlib 3.11.2 no macOS ARM. Veja revisão e verificação para evidências e limites de integração opcional. Estas são verificações de correção em entradas sintéticas pequenas, não benchmarks de desempenho.

Fluxo de trabalho

1. Estabeleça identidade de linha, unidades, esquema, códigos de valor ausente e contagens esperadas. Inspecione cabeçalhos brutos de CSV antes que os parsers renomeiem duplicatas; forneça tipos explícitos para IDs e valores que aparecem tardiamente. Mantenha datas, fusos horários e cadência de amostragem explícitos.
2. Abra arquivos com vaex.open. HDF5 deve usar um layout de tabela compatível; arrays científicos HDF5 arbitrários não são automaticamente uma tabela Vaex. A abertura de CSV realiza trabalho de indexação/esquema; Parquet deve decodificar dados compactados. Nenhum deles é uma operação instantânea e de memória zero.
3. Selecione colunas necessárias e use expressões para valores derivados. Uma coluna virtual evita um array armazenado completo, mas ainda precisa de metadados de expressão e buffers de avaliação.
4. Registre filtros/seleções e ausência de dados antes das reduções. Agrupe estatísticas independentes com delay=True, depois df.execute() e o .get() de cada promessa.
5. Valide contagens, unidades, cardinalidade de junção e resultados numéricos contra um subconjunto pequeno computado independentemente. Resumos agrupados ou aproximados precisam de limites/resolução explícitos.
6. Plote grades agregadas ou uma amostra limitada. Um heatmap de contagem e um heatmap de média respondem a perguntas diferentes; mostre cobertura e evite ocultar observações raras/extremas silenciosamente.
7. Exporte diretamente em blocos; a exportação avalia colunas virtuais sem precisar de materialize() primeiro. Reabra e verifique contagens/esquema/valores antes de substituir os dados de origem.

Exemplo executável pequeno

Execute em um diretório de trabalho gravável; os nomes de saída não devem se referir a dados existentes.

from pathlib import Path
import numpy as np
import vaex

out = Path('vaex-example.hdf5')
if out.exists():
    raise FileExistsError(out)
df = vaex.from_arrays(
    x=np.arange(1., 7.), y=np.arange(6.) ** 2,
    category=np.array(['A', 'B', 'A', 'B', 'A', 'B']),
)
df['energy'] = df.x ** 2 + df.y
selected = df[df.x >= 3]
mean_task = selected.energy.mean(delay=True)
count_task = selected.count(delay=True)
selected.execute()
assert count_task.get() == 4
assert np.isclose(mean_task.get(), 35.0)
summary = df.groupby('category', agg={
    'rows': vaex.agg.count(), 'energy_sum': vaex.agg.sum('energy'),
})
assert int(summary.rows.sum()) == len(df)
df.export_hdf5(str(out), chunk_size=2)
reopened = vaex.open(str(out))
assert reopened.get_column_names() == df.get_column_names()
assert np.allclose(reopened.energy.to_numpy(), df.energy.to_numpy())

Para uma entrada real grande, substitua o fixture em memória por vaex.open('input.hdf5'). A pequena comparação .to_numpy() acima é uma verificação de fixture; não a aplique a um conjunto de dados inteiro maior que a RAM. Compare linhas amostradas e resumos transmitidos em vez disso.

Mapa de referência

• DataFrames Principais: carregadores, distinções entre expressões/arrays, inspeção e esquema.

…