SINAN: Valores válidos, valores ausentes e valores fora do domínio
O ponto central é distinguir três situações diferentes nos dados do SINAN: valor válido, valor ausente e valor fora do domínio.
Pegando SOROTIPO como exemplo, o dicionário oficial que você trouxe diz que os únicos códigos previstos são:
| Valor no SINAN | Significado |
|---|---|
| 1 | DEN 1 |
| 2 | DEN 2 |
| 3 | DEN 3 |
| 4 | DEN 4 |
Não existe 0 no dicionário. (veja o dicionário de dados em G:\Meu Drive\Doutorado\arbovirus_rag\data_docs\SINAN\DIC_DADOS_ONLINE.pdf)
Mas no seu arquivo (G:\Meu Drive\Doutorado\arbovirus_rag\data_raw\SINAN\2026\DENGBR26.dbf ou
/content/drive/MyDrive/Doutorado/arbovirus_rag/data_processed/SINAN/2026/sinan_dengue_2026.parquet
) encontramos:
SOROTIPO
NaN/NA 383.542
0 16.063
1–4 26.324
─────────────────
Total 425.929
Então temos três situações.
1. Valor válido: se aparece 1, 2, 3 ou 4, sabemos interpretar epidemiologicamente. Por exemplo:
SOROTIPO = 3
↓
DENV-3
2. Valor ausente (NaN/NA): significa que naquele registro não há um valor armazenado nesse campo.
SOROTIPO = NA
↓
sem valor registrado
Isso é bastante esperado para SOROTIPO, porque, conforme o próprio dicionário que você trouxe, o campo só é habilitado em determinadas condições relacionadas aos exames laboratoriais.
3. Código 0: aqui está a situação diferente. Existe efetivamente um valor no arquivo:
SOROTIPO = 0
Só que o dicionário não define o que 0 significa.
Portanto, não podemos afirmar:
0 = Ignorado
nem:
0 = Sem sorotipo
O que podemos afirmar com segurança é:
O código
0está presente nos dados, mas não pertence ao domínio de valores definido no dicionário utilizado.
Por que não simplesmente transformar o 0 em NaN?
Poderíamos fazer:
df["SOROTIPO"] = (
df["SOROTIPO"]
.replace(0, pd.NA)
)
Mas perderíamos uma informação importante sobre o dado original.
Imagine que posteriormente você queira saber:
"O arquivo original realmente tinha esses registros vazios?"
Você não conseguiria distinguir:
originalmente vazio
de:
originalmente código 0Por isso sugeri manter duas colunas:SOROTIPO SOROTIPO_ANALITICO
──────── ───────────────────
1 1
2 2
0 NA
NA NA
3 3A primeira preserva o dado de origem. A segunda representa o dado preparado para análise.
Depois podemos criar ainda:
SOROTIPO SOROTIPO_ANALITICO SOROTIPO_DECODED
──────── ────────────────── ─────────────────
1 1 DENV-1
2 2 DENV-2
0 NA NA
NA NA NA
3 3 DENV-3
Assim temos uma espécie de trilha:
Dado original
SOROTIPO = 3
↓
Dado analítico
SOROTIPO_ANALITICO = 3
↓
Representação legível
SOROTIPO_DECODED = "DENV-3"
E onde isso faz diferença?
Principalmente no cálculo da qualidade dos dados.
Anteriormente fizemos:
df["SOROTIPO"].isna().sum()e encontramos:
383.542Isso levou a:
90,05% ausentesEsse cálculo está matematicamente correto: 90,05% são efetivamente nulos.
Mas ele não responde à pergunta:
"Quantos registros possuem um sorotipo válido?"
Porque os 16.063 registros com
0não são nulos, mas também não são DENV-1, DENV-2, DENV-3 ou DENV-4.Por isso:
425.929 registros totais │ ├── 383.542 → ausentes (NaN) │ ├── 16.063 → fora do domínio (0) │ └── 26.324 → sorotipo válido (1–4)
Logo:
26.324 / 425.929 × 100 ≈ 6,18%Ou seja:
A cobertura válida da variável
SOROTIPOé aproximadamente 6,18%.Isso é diferente de dizer que:
90,05% dos registros são ausentes.
As duas afirmações são verdadeiras, mas medem coisas diferentes.
Isso também vale para hospitalização
No seu arquivo:
HOSPITALIZ = 0aparece apenas 1 vez.
O dicionário diz:
1 = Sim 2 = Não 9 = IgnoradoPortanto:
HOSPITALIZ = 0também está fora do domínio.
Mas há uma diferença importante:
9é válido.Então:
HOSPITALIZ = NaN → ausência de valor HOSPITALIZ = 0 → código fora do domínio HOSPITALIZ = 1 → Sim HOSPITALIZ = 2 → Não HOSPITALIZ = 9 → IgnoradoNão devemos transformar
9emNaN, pois perderíamos uma categoria que o próprio SINAN reconhece.O mesmo raciocínio vale para
EVOLUCAO:1 → Cura 2 → Óbito pelo agravo 3 → Óbito por outras causas 4 → Óbito em investigação 9 → Ignorado 0 → fora do domínio documentado NA → ausenteUma distinção que será muito útil na sua pesquisa
Eu passaria a trabalhar com estes conceitos no notebook de validação:
VALOR VÁLIDO Código pertence ao domínio definido pelo SINAN. VALOR IGNORADO Existe um código oficial para "Ignorado", como 9. VALOR AUSENTE O campo está vazio/NaN. VALOR FORA DO DOMÍNIO Existe um valor, mas ele não está previsto no domínio definido pelo dicionário utilizado.Isso é muito melhor do que colocar tudo simplesmente como "dados faltantes".
E há uma consequência interessante para seus documentos semânticos: podemos registrar não apenas os indicadores epidemiológicos, mas também a qualidade da evidência que sustenta aquele indicador. Por exemplo, uma distribuição de sorotipos pode informar que foi calculada sobre 26.324 registros válidos, correspondentes a 6,18% dos registros disponíveis. Isso dá ao RAG contexto para não superinterpretar aquele resultado.
Comentários
Postar um comentário