Busca de Dados de Modelos Meteorológicos

Visão Geral

Busque dados de previsão numérica do tempo sem tratar um arquivo GRIB2 de múltiplos gigabytes como um download indivisível. Prefira um adaptador de projeto existente ou Herbie; use intervalos de bytes diretos do object-store apenas quando o caminho suportado não puder expressar a solicitação.

Esta habilidade abrange transporte, seleção de inventário, cache e verificação. Ela não interpreta a previsão nem decide se um modelo é meteorologicamente apropriado.

Quando Usar Esta Habilidade

• Uma tarefa precisa de saída de modelos GFS, GEFS, HRRR, RAP, NAM, IFS ou similares.
• Os dados residem em um bucket público da AWS S3, NOMADS ou um espelho público na nuvem.
• A entrada é GRIB2 e apenas variáveis ou níveis selecionados são necessários.
• Um ponto, sounding, série temporal, mapa ou job em lote precisa de um caminho de busca confiável.
• Um download está faltando, incompleto, inesperadamente grande, lento ou difícil de retomar.

Não ative esta habilidade para perguntas comuns de previsão do tempo que não exigem arquivos de modelo.

Defina a Solicitação Primeiro

Resolva estes valores antes de baixar:

• modelo e produto;
• ciclo de inicialização em UTC;
• hora de previsão e, portanto, hora de validade (valid = initialization + lead);
• membro do ensemble quando aplicável;
• variáveis, níveis verticais e campos de superfície;
• saída de ponto, região ou grade completa;
• local de cache e quando os dados baixados podem ser excluídos.

Confirme que o ciclo está completo, a hora de previsão existe para esse ciclo e a localização solicitada está dentro do domínio do modelo. Uma 404 recente geralmente significa que o ciclo ainda não foi publicado; retroceda para um ciclo concluído em vez de tentar indefinidamente.

Escolha a Rota de Recuperação Menor

1. Reutilize a abstração de busca/cache existente do projeto quando ela já lida com o modelo.
2. Use Herbie para um modelo GRIB2 suportado. Ele descobre AWS, NOMADS, Google, Azure e outras fontes configuradas e entende seus layouts de chave.
3. Use um endpoint nativo do provedor para ponto ou Zarr quando a tarefa precisar de uma fatia espacial minúscula de muitos horários ou membros.
4. Use acesso direto a objetos S3 ou HTTPS quando a chave for conhecida e nenhum adaptador adequado existir.

Não liste recursivamente um grande bucket público para descobrir uma execução. Construa o prefixo documentado para o modelo, ciclo, produto, hora de previsão e membro, então sonde esse objeto exato e seu inventário.

Use uma prioridade explícita do provedor e registre o provedor que obteve sucesso. Um fallback deve se referir à mesma execução do modelo, produto, membro e hora de previsão; nunca substitua silenciosamente uma previsão diferente.

Subconjunto GRIB2 por Inventário

Arquivos GRIB2 contêm mensagens consecutivas. Um inventário complementar como .idx, .grib2.idx ou .grb2.inv registra o byte inicial de cada mensagem.

1. Busque o pequeno inventário primeiro.
2. Inspecione suas linhas reais antes de escrever uma expressão regular.
3. Selecione registros exatos de variáveis, níveis e passos de previsão.
4. Defina o byte final de cada mensagem selecionada para um a menos que o início da próxima mensagem; solicite a mensagem selecionada final até o EOF quando nenhum fim for conhecido.
5. Agrupe mensagens selecionadas adjacentes em um único intervalo.
6. Emita uma solicitação Range: bytes=START-END por intervalo. S3 não suporta múltiplos intervalos em uma única solicitação GetObject.
7. Exija 206 Partial Content e um Content-Range correspondente. Se um servidor responder 200, não anexe o objeto inteiro como se fosse um fragmento.
8. Fixe o comprimento e a identidade do objeto (ETag e/ou Last-Modified) durante o download. Descarte fragmentos se o objeto mudar.
9. Monte em um arquivo temporário, verifique-o com um decodificador GRIB, então renomeie atomicamente para o cache.

Uma mensagem GRIB contém um campo sobre sua grade. O subconjunto por intervalo de mensagens economiza variáveis e níveis, não geografia. Uma solicitação de ponto ainda baixa a grade completa para cada mensagem selecionada, a menos que o provedor ofereça um endpoint de ponto, regional, Zarr ou outro com chunking.

Exemplo Herbie

Use o argumento atual search; searchString está obsoleto. Comece pelo inventário, falhe em uma correspondência vazia e mantenha o diretório de download explícito.

from pathlib import Path

from herbie import Herbie

PRESSURE_FIELDS = (
    r":(?:HGT|TMP|RH|SPFH|UGRD|VGRD):\d+(?:\.\d+)? mb:"
)


def fetch_hrrr_pressure_run(initialization, forecast_hour, cache_dir):
    cache_dir = Path(cache_dir)
    h = Herbie(
        initialization,
        model="hrrr",
        product="prs",
        fxx=forecast_hour,
        priority=["aws", "nomads", "google", "azure"],
        save_dir=cache_dir,
        verbose=False,

…