Como surgem novos conhecimentos?
Dados tabulares vs JSONL
Tabela → agregação → JSONL → embedding → FAISS → retrieval 1. Dados em tabela = estrutura para máquinas tradicionais Dados tabulares são organizados em linhas e colunas . Cada linha representa um registro. Cada coluna representa um atributo. Exemplo simples: municipio semana febre mialgia casos Campinas 12 51 47 80 Aqui: linha = um registro coluna = significado fixo Isso é excelente para: ✅ SQL ✅ filtros ✅ agregações ✅ estatística ✅ joins ✅ processamento analítico Ou seja: tabelas são ótimas para cálculo. 2. Problema: LLM não "pensa" naturalmente em colunas Para um modelo de linguagem, isso: Campinas | 12 | 51 | 47 | 80 não é naturalmente interpretável. Porque o embedding funciona melhor quando existe contexto linguístico . A LLM entende melhor frases como: "No município de Campinas, na semana epidemiológica 12, foram observados 80 casos, com febre em 51 registros e mialgia em 47." ✅ aqui existe semântica explícita 3. JSONL = cada...
Comentários
Postar um comentário