Cientista de Dados: Processamento de Dados com Motor Híbrido

Responda a perguntas de dados através do motor e superfície mais baratos que possam comprovar a resposta, e decida onde a computação deve residir antes de tocar nos dados.

Superfícies de Execução: Kernel Residente Primeiro

Um kernel REPL/eval persistente (muitas interfaces expõem um para JavaScript e Python) é a superfície padrão. Razão: cada processo de uso único paga aproximadamente um segundo de sobrecarga de inicialização mais importação e reanalisa o arquivo de entrada, enquanto uma conexão residente amortiza ambos — após um carregamento único, consultas repetidas retornam em milissegundos. Exploração são consultas repetidas, então essa diferença domina a sessão.

1. Kernel JavaScript (Bun): execute scripts/ensure-js-deps.sh uma vez; ele imprime o caminho absoluto de importação para @duckdb/node-api. Importe dinamicamente, conecte uma vez, consulte entre células.
2. Kernel Python: a superfície padrão para trabalho em Python. DuckDB/NumPy/Matplotlib são tipicamente residentes; Polars e PyArrow vêm de scripts/ensure-py-deps.sh, que os instala uma vez em um cache de usuário com chave para o interpretador do kernel — sys.path.insert o diretório impresso e a importação. O interpretador em si nunca é modificado.
3. Fila uv (uv run --with ...): isolamento para um processo de uso único pesado ou propenso a falhas que não deve derrubar o kernel.
4. Sem kernel (interface de shell simples): os mesmos motores de processos de uso único — bun -e para DuckDB-js, uv run python -c para a pilha Python — agrupando várias perguntas por processo.

Padrões e armadilhas por superfície: leia references/execution-surfaces.md antes do primeiro uso.

Seleção de Motor

• DuckDB para trabalho em formato SQL: consultas diretas de arquivos, junções, agregação, subconsultas, funções de janela. Ele consulta CSV/Parquet/JSON no local sem carregar, descarrega para disco além do limite de memória e lê arquivos remotos com a mesma sintaxe.
• Polars quando o pipeline tem formato DataFrame: transformações em cadeia de expressões, remodelações, fluxos de conjuntos de dados além da RAM — residente no kernel Python via ensure-py-deps.sh. Leia references/polars-lane.md — a API atual 1.x difere de grafias antigas amplamente memorizadas.
• NumPy quando o trabalho numérico vai além da agregação SQL/DataFrame: testes estatísticos, álgebra linear, FFT, amostragem aleatória.
• Matplotlib para todos os gráficos — leia references/visualization.md primeiro; ele carrega a barra de qualidade e uma verificação visual obrigatória.

Folclore de desempenho ("X é Nx mais rápido na filtragem") varia com a forma dos dados, cardinalidade e hardware. Quando a escolha do motor importa materialmente, meça nos dados reais em vez de confiar em multiplicadores lembrados.

Posicionamento: Decida Onde a Computação Reside

Sonde antes de computar — uma célula: tamanho do arquivo, RAM livre e (quando incerto) uma contagem de linhas via varredura direta. Em seguida, posicione o trabalho:

• Carregar na memória quando o conjunto de trabalho permanecer dentro de aproximadamente um quarto da RAM livre E a sessão executará consultas repetidas: CREATE TABLE t AS SELECT ... (ou um DataFrame coletado) uma vez, e então itere. Uma varredura inicial converte cada consulta posterior de uma reanálise de arquivo para milissegundos.
• Consultar no local / transmitir quando a pergunta for de passagem única, ou os dados excederem a RAM: DuckDB lê arquivos diretamente (FROM 'data.csv'); além da RAM, limite a memória do DuckDB e deixe-o descarregar, ou use o motor de streaming do Polars no kernel Python. NUNCA carregue um conjunto de dados maior que a RAM totalmente na memória — a troca (swapping) paralisa toda a máquina, enquanto o streaming apenas leva mais tempo.
• Consultar remotamente, no local quando os dados residem em outro lugar: DuckDB lê Parquet e CSV http(s)/S3 com projeção e pushdown de predicado, então busque as colunas e linhas que a pergunta precisa, nunca o arquivo inteiro. Quando os dados estão em outra máquina onde você pode executar, envie a consulta para os dados e retorne o pequeno resultado. Regra: resultado muito menor que os dados — mova a consulta; iteração local repetida planejada — mova uma cópia podada dos dados uma vez.

Heurísticas e receitas de dimensionamento: references/placement.md.

Regras Rígidas

• NUNCA use pandas. DuckDB e Polars o superam decisivamente em todas as cargas de trabalho que esta habilidade cobre, e os ambientes que esta habilidade assume não o incluem — .df() em um resultado DuckDB gera um erro a menos que pandas esteja instalado; converta com .pl() via Arrow em vez disso.
• Arquivos Excel não são lidos diretamente: exporte para CSV ou Parquet primeiro.

Contrato de Saída

Responda à pergunta; relate contagens de linhas e tempos para qualquer coisa pesada; então pare — sem bônus

…