How sgallol2/bigdata-natalidad works
El producto es un pipeline analítico de natalidad en Colombia sobre AWS: incorpora microdatos del DANE, dimensiones de RDS y series del Banco Mundial; prepara y cataloga los datos para análisis y visualización. La ruta principal va de fuentes diversas a S3 raw, Glue transforma a trusted, y SQL/PySpark produce análisis y resultados que consume el dashboard. Las relaciones entre etapas se basan en la arquitectura y el orden documentados en el README; los detalles de varios módulos de ingesta, catalogación y SQL no fueron muestreados.
Main entry points: 03-ingesta Ingesta multi-fuente · ingesta_api.py Ingesta World Bank · glue_raw_a_trusted_nacimientos.py Preparación nacimientos · glue_raw_a_trusted_api.py Preparación World Bank
Components 18
Fuentes e ingesta
- Microdatos DANE
- Dimensiones RDS
02-fuentes/01_esquema.sql - API Data360
- Ingesta multi-fuente
03-ingesta - Ingesta World Bank
03-ingesta/ingesta_api.py
Data lake y preparación
- S3 raw
- Preparación nacimientos
04-glue-spark/glue_raw_a_trusted_nacimientos.py - Preparación World Bank
04-glue-spark/glue_raw_a_trusted_api.py - Preparación dimensiones
04-glue-spark/glue_raw_a_trusted_rds.py - S3 trusted
Catálogo y análisis
- Catálogo de datos
05-catalogacion - Consultas SQL
06-consultas-sql - Análisis PySpark
07-pyspark/analisis_descriptivo_pyspark.py - S3 refined
Servicio y visualización
- API de métricas
08-visualizacion-api/lambda_function.py - API Gateway
- Dashboard Streamlit
08-visualizacion-api/app.py
Other components
- Analista
Connections 20
- Microdatos DANE → S3 raw: carga archivos
README.md - Dimensiones RDS → Ingesta multi-fuente: extrae dimensiones
README.md - Ingesta multi-fuente → S3 raw: carga datos
README.md - API Data360 → Ingesta World Bank: solicita páginas
03-ingesta/ingesta_api.py - Ingesta World Bank → S3 raw: escribe JSON
03-ingesta/ingesta_api.py - S3 raw → Preparación nacimientos: lee CSV
04-glue-spark/glue_raw_a_trusted_nacimientos.py - S3 raw → Preparación World Bank: lee JSON
04-glue-spark/glue_raw_a_trusted_api.py - S3 raw → Preparación dimensiones: lee TSV
04-glue-spark/glue_raw_a_trusted_rds.py - Preparación nacimientos → S3 trusted: escribe Parquet
04-glue-spark/glue_raw_a_trusted_nacimientos.py - Preparación World Bank → S3 trusted: escribe Parquet
04-glue-spark/glue_raw_a_trusted_api.py - Preparación dimensiones → S3 trusted: escribe Parquet
04-glue-spark/glue_raw_a_trusted_rds.py - S3 trusted → Catálogo de datos: cataloga tablas
README.md - Catálogo de datos → Consultas SQL: habilita consultas
README.md - S3 trusted → Análisis PySpark: lee Parquet
07-pyspark/analisis_descriptivo_pyspark.py - Análisis PySpark → S3 refined: escribe resultados
07-pyspark/analisis_descriptivo_pyspark.py - Consultas SQL → Analista: responde preguntas
README.md - API Gateway → API de métricas: envía solicitudes
README.md - API de métricas → S3 refined: lee métricas
08-visualizacion-api/lambda_function.py - Dashboard Streamlit → API Gateway: consulta métricas
08-visualizacion-api/app.py - Analista → Dashboard Streamlit: explora gráficos
README.md