Idempotência
Controlar snapshots e carga para que novas execuções considerem o trabalho já concluído.
Engenharia de dados · Código público
CNPJ Sync Service
Um pipeline de dados públicos com processamento por etapas, reuso de arquivos e carga idempotente.
01 / Contexto
O problema
Sincronizar os arquivos públicos de CNPJ envolve download, extração, diferenças de formato e carga no banco. Reiniciar tudo a cada falha desperdiça trabalho já realizado.
02 / Implementação
A solução
Pipeline Python que descobre o snapshot, baixa arquivos, extrai, normaliza e carrega os dados no PostgreSQL. O controle de progresso permite reutilizar artefatos e acompanhar o estado de cada arquivo.
03 / Conexões
Como as partes se conectam
Crawler, downloader, extractor e processor têm responsabilidades separadas. A camada de persistência utiliza COPY e upsert; o controle de execução e arquivos sustenta o reprocessamento.
- 01Descoberta
Snapshot de dados públicos
- 02Preparação
Download e extração
- 03Normalização
CSV / Parquet por etapas
- 04PostgreSQL
COPY, upsert e progresso
Desafios de engenharia
Memória e paralelismo
Processar dados em partes e configurar concorrência por etapa do pipeline.
Falhas intermediárias
Registrar progresso e reutilizar artefatos disponíveis sem exigir um reinício completo.
04 / Entrega
O que a solução oferece
Um pipeline inspecionável, com configuração centralizada, módulos separados e testes para normalização e operações de dados.
README e implementação do pipeline consultados no repositório público. Não foram executados benchmarks ou cargas de produção nesta análise.