SINAN: Valores válidos, valores ausentes e valores fora do domínio

 

O ponto central é distinguir três situações diferentes nos dados do SINAN: valor válido, valor ausente e valor fora do domínio.

Pegando SOROTIPO como exemplo, o dicionário oficial que você trouxe diz que os únicos códigos previstos são:

Valor no SINANSignificado
1DEN 1
2DEN 2
3DEN 3
4DEN 4

 

 

Não existe 0 no dicionário. (veja o dicionário de dados em G:\Meu Drive\Doutorado\arbovirus_rag\data_docs\SINAN\DIC_DADOS_ONLINE.pdf)

Mas no seu arquivo (G:\Meu Drive\Doutorado\arbovirus_rag\data_raw\SINAN\2026\DENGBR26.dbf ou 

/content/drive/MyDrive/Doutorado/arbovirus_rag/data_processed/SINAN/2026/sinan_dengue_2026.parquet

) encontramos:

SOROTIPO

NaN/NA    383.542
0                16.063

1–4            26.324
─────────────────
Total          425.929 

 

 

Então temos três situações.

1. Valor válido: se aparece 1, 2, 3 ou 4, sabemos interpretar epidemiologicamente. Por exemplo:

 SOROTIPO = 3
       ↓
    DENV-3

2. Valor ausente (NaN/NA): significa que naquele registro não há um valor armazenado nesse campo.

 SOROTIPO = NA
       ↓
sem valor registrado

 Isso é bastante esperado para SOROTIPO, porque, conforme o próprio dicionário que você trouxe, o campo só é habilitado em determinadas condições relacionadas aos exames laboratoriais.

3. Código 0: aqui está a situação diferente. Existe efetivamente um valor no arquivo:

SOROTIPO = 0

Só que o dicionário não define o que 0 significa.

Portanto, não podemos afirmar:

0 = Ignorado

 nem:

0 = Sem sorotipo

 O que podemos afirmar com segurança é:

O código 0 está presente nos dados, mas não pertence ao domínio de valores definido no dicionário utilizado.

 

Por que não simplesmente transformar o 0 em NaN?

Poderíamos fazer:

df["SOROTIPO"] = (
    df["SOROTIPO"]
    .replace(0, pd.NA)
) 

 

Mas perderíamos uma informação importante sobre o dado original.

Imagine que posteriormente você queira saber:

"O arquivo original realmente tinha esses registros vazios?"

Você não conseguiria distinguir:

originalmente vazio

de:

originalmente código 0
 
Por isso sugeri manter duas colunas:
 
SOROTIPO             SOROTIPO_ANALITICO
──────── ───────────────────
1 1
2 2
0 NA
NA NA
3 3
 

A primeira preserva o dado de origem. A segunda representa o dado preparado para análise.

Depois podemos criar ainda:

 

SOROTIPO SOROTIPO_ANALITICO SOROTIPO_DECODED
──────── ────────────────── ─────────────────
1 1 DENV-1
2 2 DENV-2
0 NA NA
NA NA NA
3 3 DENV-3

 

Assim temos uma espécie de trilha:

Dado original
SOROTIPO = 3
↓
Dado analítico
SOROTIPO_ANALITICO = 3
↓
Representação legível
SOROTIPO_DECODED = "DENV-3"

 

E onde isso faz diferença?

Principalmente no cálculo da qualidade dos dados.

Anteriormente fizemos:

df["SOROTIPO"].isna().sum()
 

e encontramos:

383.542
 

Isso levou a:

90,05% ausentes
 

Esse cálculo está matematicamente correto: 90,05% são efetivamente nulos.

Mas ele não responde à pergunta:

"Quantos registros possuem um sorotipo válido?"

 

Porque os 16.063 registros com 0 não são nulos, mas também não são DENV-1, DENV-2, DENV-3 ou DENV-4. 

Por isso:

425.929 registros totais
        │
        ├── 383.542 → ausentes (NaN)
        │
        ├──  16.063 → fora do domínio (0)
        │
        └──  26.324 → sorotipo válido (1–4)

 

 

Logo:

26.324 / 425.929 × 100 ≈ 6,18%

Ou seja:

A cobertura válida da variável SOROTIPO é aproximadamente 6,18%.

Isso é diferente de dizer que:

90,05% dos registros são ausentes.

As duas afirmações são verdadeiras, mas medem coisas diferentes.

Isso também vale para hospitalização

No seu arquivo:

HOSPITALIZ = 0

aparece apenas 1 vez.

O dicionário diz:

1 = Sim
2 = Não
9 = Ignorado

Portanto:

HOSPITALIZ = 0

também está fora do domínio.

Mas há uma diferença importante: 9 é válido.

Então:

HOSPITALIZ = NaN   → ausência de valor
HOSPITALIZ = 0     → código fora do domínio
HOSPITALIZ = 1     → Sim
HOSPITALIZ = 2     → Não
HOSPITALIZ = 9     → Ignorado

Não devemos transformar 9 em NaN, pois perderíamos uma categoria que o próprio SINAN reconhece.

O mesmo raciocínio vale para EVOLUCAO:

1 → Cura
2 → Óbito pelo agravo
3 → Óbito por outras causas
4 → Óbito em investigação
9 → Ignorado

0 → fora do domínio documentado
NA → ausente

Uma distinção que será muito útil na sua pesquisa

Eu passaria a trabalhar com estes conceitos no notebook de validação:

VALOR VÁLIDO
Código pertence ao domínio definido pelo SINAN.

VALOR IGNORADO
Existe um código oficial para "Ignorado", como 9.

VALOR AUSENTE
O campo está vazio/NaN.

VALOR FORA DO DOMÍNIO
Existe um valor, mas ele não está previsto no domínio
definido pelo dicionário utilizado.

Isso é muito melhor do que colocar tudo simplesmente como "dados faltantes".

E há uma consequência interessante para seus documentos semânticos: podemos registrar não apenas os indicadores epidemiológicos, mas também a qualidade da evidência que sustenta aquele indicador. Por exemplo, uma distribuição de sorotipos pode informar que foi calculada sobre 26.324 registros válidos, correspondentes a 6,18% dos registros disponíveis. Isso dá ao RAG contexto para não superinterpretar aquele resultado.

 
 
 

 

 

 

 

 

Comentários

Postagens mais visitadas deste blog

Dados tabulares vs JSONL

Moltbook: rede social que só inteligências artificiais podem usar já reúne milhões de 'perfis'