remote-gpu-trainer — Orquestração de Jobs de GPU Remotos

Visão Geral

Implante e gerencie jobs de GPU de longa duração em máquinas alugadas que você não possui, em qualquer plataforma, e traga o resultado da máquina antes que o medidor ou uma preempção o interrompa. A ideia central: você é um inquilino de curto prazo na máquina de outra pessoa — então o trabalho é desacoplar o trabalho, fazer o resultado sobreviver à instância e parar o medidor com segurança, não provisionar um cluster.

Essa habilidade é agnóstica à plataforma em sua essência, específica à plataforma em suas bordas: um conjunto fixo de princípios operacionais + um ciclo de vida de 6 fases que se aplicam em todos os lugares, mais um perfil por plataforma (profiles/<platform>.md) que detém todos os caminhos concretos, proxies, verbos de faturamento e semânticas de spot. Seu valor defensável é a união que os grandes orquestradores ignoram: aluguéis isolados por cgroup na China + caixas baratas com bare-SSH + a realidade do orçamento de disco / monitoramento / desativação que é o trabalho em hardware medido.

Quando Usar Esta Habilidade

Use sempre que o usuário implantar, treinar, monitorar ou solucionar problemas de um job de GPU de longa duração em uma instância ALUGADA ou remota que ele não possui — treinamento, avaliação, varreduras de ablação, inferência em lote ou processamento de grandes volumes de dados — em AutoDL, RunPod, vast.ai, Lambda, Paperspace, plataformas chinesas (恒源云/矩池云/Featurize/ 揽睿星舟), uma caixa bare SSH, Slurm ou Kubernetes; instância única OU múltipla. Gatilhos (multilíngues): "远程 GPU 训练", "GPU 租赁", "GPU rental", "租卡", "spot 抢占", "spot preemption", "断点续训", "resumable training", "tmux 训练守护", "防 SSH 断线", "scp/rsync 上传", "多实例 ablation", "远程 GPU 监控", "省钱关机/销毁实例", "stop vs terminate billing", "checkpoint 磁盘满", "CUDA OOM/显存不足", "loss NaN/loss spike", "loss 不下降/不收敛", "overfit 单 batch", "FSDP/DeepSpeed 配置", "多卡训练 hang", "dataloader worker/数据增广 bug". NÃO para treinamento puramente local de GPU única, DDP multi-GPU dentro da instância (use torchrun/accelerate), shopping de preços multi-cloud gerenciado (use a habilidade do SkyPilot), ou inferência serverless sem operações (use Modal).

Quando NÃO Usar — e o que usar em vez disso

Esta habilidade é para o ponto cego que essas ferramentas deixam: AutoDL + plataformas chinesas, aluguéis bare SSH/Slurm/K8s, e os problemas operacionais (limites de inode, travamentos de espelho, cgroup OOM, sincronização silenciosa, janelas de tolerância de spot, desativação irreversível) que sobrevivem a qualquer provisionador que você use.

Princípios Operacionais (o PORQUÊ — 10 invariantes)

Estes se aplicam a cada GPU alugada, isolada e com medidor; apenas os caminhos/CLI mudam. Uma linha cada; a forma profunda com nuances entre plataformas está em references/principles.md (leia antes da Fase 0).

1. Minimizar o tempo de relógio pago. O medidor roda o tempo todo — teste localmente na CPU antes de alugar, inicie de forma desacoplada, libere no instante em que a verificação passar.
2. Verificações baratas antes da computação cara. Um teste de 1-2 lotes na CPU (logger desligado) elimina bugs de importação/configuração/forma/escala por ~grátis. (Conteúdo do teste → verifying-dl-experiments.)
3. Confie nos artefatos que você carregou, não nas linhas de log que afirmam sucesso. "sincronizado/salvo/feito" mente sob uma escrita que falhou silenciosamente; o próprio estado de um observador também é uma afirmação — reconcilie-o contra o processo/artefato real.
4. Saiba o que sobrevive a stop vs destroy. Por plataforma, identifique exatamente qual montagem sobrevive a um stop e qual sobrevive a um terminate — os dados de que você precisa geralmente vivem na montagem volátil. (A maior armadilha de portabilidade.)
5. O armazenamento falha na dimensão que você não está observando. O disco morre em inodes antes de bytes; o verdadeiro vilão se esconde em um cache com link simbólico; limpe por valor (mantenha evidências pequenas, descarte scratch grande); monitore df -i, não apenas df -h.
6. Nunca modifique entradas sob uma execução ativa. Um job em execução mantém seus scripts na memória por deslocamento de bytes; sobrescrever um no meio da execução reexecuta blocos. Versionar nomes de arquivos.

…