Reprodutibilidade de Dados Meteorológicos

Visão Geral

Crie um manifesto de proveniência compacto que identifique as entradas meteorológicas exatas, subconjuntos, software, transformações e artefatos de saída usados por uma execução. Verifique o manifesto antes de afirmar que um resultado pode ser reproduzido ou reexecutado.

Esta habilidade registra e verifica a linhagem. Ela não descobre ou baixa dados por si só; combine-a com a habilidade apropriada de busca de modelos, observações, radar ou satélite.

Quando Usar Esta Habilidade

• Um mapa, sounding, série temporal, conjunto de dados ou benchmark deve ser auditável.
• As entradas meteorológicas vieram de URLs mutáveis, espelhos, subconjuntos de intervalo de bytes ou caches.
• Um resultado deve distinguir a inicialização do modelo, o tempo de previsão e o tempo válido.
• Arquivos temporários GRIB2, NetCDF, de radar, satélite ou de observação serão excluídos após o processamento.
• Duas saídas diferem e suas entradas ou ambiente de processamento devem ser comparados.
• Uma publicação ou lançamento precisa de dados e proveniência de software legíveis por máquina.

Não reivindique reprodutibilidade bit a bit meramente porque uma URL de origem e o tempo de execução foram registrados.

Contrato de Reprodutibilidade

Decida qual reivindicação o fluxo de trabalho suporta:

• Rastreável: A origem e o histórico de processamento podem ser auditados.
• Reexecutável: As mesmas entradas identificadas ainda podem ser recuperadas e o procedimento registrado pode ser reexecutado.
• Bitwise reproduzível: A reexecução deve produzir bytes idênticos em um ambiente fixo.
• Cientificamente reproduzível: Entradas e métodos equivalentes produzem a mesma conclusão científica dentro de uma tolerância declarada.

Registre a reivindicação pretendida e sua tolerância. Objetos remotos mutáveis, versões de software flutuantes, imagens com perdas, reduções paralelas e código dependente da plataforma podem tornar as reivindicações mais fortes impossíveis.

Manifesto Mínimo

Use um documento JSON versionado. Mantenha a intenção da solicitação separada da origem que foi realmente resolvida.

{
  "schema_version": 1,
  "created_utc": "2026-09-18T09:00:00Z",
  "claim": {"level": "replayable", "tolerance": null},
  "request": {
    "dataset": "hrrr",
    "product": "prs",
    "requested_valid_time": "2026-09-18T12:00:00Z",
    "variables": ["temperature", "relative_humidity"]
  },
  "resolved": {
    "initialization": "2026-09-18T06:00:00Z",
    "forecast_hour": 6,
    "valid_time": "2026-09-18T12:00:00Z",
    "provider": "aws"
  },
  "inputs": [
    {
      "role": "pressure_fields",
      "uri": "s3://bucket/exact-object-key",
      "object_identity": {
        "etag": "opaque-identity",
        "last_modified": "2026-09-18T07:01:02Z",
        "size_bytes": 987654321
      },
      "selection": {
        "inventory_uri": "s3://bucket/exact-object-key.idx",
        "inventory_sha256": "HEX_DIGEST",
        "byte_ranges": [[1000, 1999], [5000, 6999]]
      },
      "materialized_sha256": "HEX_DIGEST"
    }
  ],
  "processing": {
    "software": {"application": "1.2.3", "python": "3.13.7"},
    "parameters": {"point": [35.22, -97.44], "nearest_method": "model-aware"},
    "transformations": ["decode GRIB2", "convert K to degC"]
  },
  "artifacts": [
    {
      "path": "sounding.png",
      "media_type": "image/png",
      "size_bytes": 123456,
      "sha256": "HEX_DIGEST"
    }
  ]
}

Use null para um valor intencionalmente ausente e omita campos cujo significado seja desconhecido. Nunca preencha um campo que pareça obrigatório com um palpite.

Identifique Cada Entrada

Para cada objeto remoto ou resposta de API, registre como disponível:

• provedor, conjunto de dados, endpoint, bucket e chave exata ou URL imutável;
• ID da versão, número de geração, release ou revisão do conjunto de dados;
• ETag como identidade de objeto opaca, Last-Modified e comprimento do conteúdo;
• checksum fornecido pelo provedor e algoritmo de checksum;
• um SHA-256 computado localmente para bytes baixados ou materializados;
• tipo de mídia da resposta e codificação do conteúdo;
• hora de recuperação e provedor de fallback bem-sucedido;
• identificador de licença ou atribuição quando necessário.

Um ETag do S3 nem sempre é um digest MD5, particularmente para objetos multipart ou criptografados. Armazene-o para identidade e compute um hash de conteúdo criptográfico quando os bytes reais precisarem ser verificados.

Registre a Seleção

O objeto de origem sozinho é insuficiente quando apenas parte dele foi usada. Registre:

• URI do inventário GRIB2 e hash do conteúdo do inventário;
• linhas exatas do inventário, expressão de busca e intervalos de bytes inclusivos;
• grupo Zarr, nomes de arrays, chaves de chunk e fatias de coordenadas;
• parâmetros de consulta da API e um hash ou cópia retida da resposta bruta;

…