How sahiansalome14/proyecto2_bigdata works
El producto es un flujo de análisis de exoplanetas: integra fuentes relacionales, archivos y una API astronómica en un Data Lake S3, transforma y cataloga los datos, y los expone para consultas, análisis y visualización. El README documenta las etapas y tecnologías principales; los vínculos internos de ingesta, procesamiento y Lambda no están desarrollados en los extractos, así que esos enlaces se basan en el README o se dejan sin afirmar. Las relaciones entre módulos de catálogo y visualización citadas sí aparecen en el código mostrado.
Main entry points: ingest_to_s3.py Ingesta S3 · main.py Orquestación catálogo · hive_catalog.py Catálogo Hive · app.py Dashboard Plotly
Components 25
Fuentes de datos
- RDS MariaDB
- Archivos CSV
- NASA Archive API
- Carga relacional
02_fuentes_datos/01_rds_mariadb/insert_data.py - Descarga CSV
02_fuentes_datos/02_ec2_csv/download_csv.sh - Extracción NASA
02_fuentes_datos/03_nasa_api/extract_api.py
Data Lake
- Ingesta S3
03_ingesta_data_lake/ingest_to_s3.py - Data Lake S3
Procesamiento y análisis
- Raw a Trusted
04_procesamiento_spark/glue_raw_to_trusted.py - Análisis PySpark
07_analisis_pyspark/analisis_exoplanetas.py
Catálogo y consultas
- Orquestación catálogo
05_catalogacion/main.py - Configuración catálogo
05_catalogacion/config.py - Catálogo Glue
05_catalogacion/aws_glue/glue_catalog.py - Gestión clúster EMR
05_catalogacion/emr_hive/emr_cluster.py - Catálogo Hive
05_catalogacion/emr_hive/hive_catalog.py - Consultas SQL
06_consultas_sql
Visualización
- Carga Parquet
08_visualizacion_api/plotly/data_loader.py - Gráficos Plotly
08_visualizacion_api/plotly/visualizaciones.py - Dashboard Plotly
08_visualizacion_api/plotly/app.py - Dashboard HTML
08_visualizacion_api/plotly/main.py - Interfaz Streamlit
08_visualizacion_api/streamlit_api/app.py - Cliente API
08_visualizacion_api/streamlit_api/api_client.py - API Lambda
08_visualizacion_api/streamlit_api/lambda/handler.py
Other components
- Analista
- API Gateway
Connections 28
- Carga relacional → RDS MariaDB: carga datos
README.md - Descarga CSV → Archivos CSV: descarga archivos
README.md - Extracción NASA → NASA Archive API: consulta datos
README.md - Ingesta S3 → RDS MariaDB: integra fuente
README.md - Ingesta S3 → Archivos CSV: integra fuente
README.md - Ingesta S3 → NASA Archive API: integra fuente
README.md - Ingesta S3 → Data Lake S3: almacena datos
README.md - Data Lake S3 → Raw a Trusted: transforma zonas
README.md - Data Lake S3 → Análisis PySpark: analiza datos
README.md - Orquestación catálogo → Configuración catálogo: lee configuración
05_catalogacion/main.py - Orquestación catálogo → Catálogo Glue: ejecuta catálogo
05_catalogacion/main.py - Orquestación catálogo → Gestión clúster EMR: gestiona clúster
05_catalogacion/main.py - Orquestación catálogo → Catálogo Hive: ejecuta catálogo
05_catalogacion/main.py - Catálogo Glue → Data Lake S3: cataloga Parquet
05_catalogacion/aws_glue/glue_catalog.py - Catálogo Hive → Data Lake S3: lee Parquet
05_catalogacion/emr_hive/hive_catalog.py - Catálogo Hive → Gestión clúster EMR: envía paso Hive
05_catalogacion/emr_hive/hive_catalog.py - Data Lake S3 → Consultas SQL: consulta datos
README.md - Data Lake S3 → Carga Parquet: lee Parquet
08_visualizacion_api/plotly/data_loader.py - Dashboard Plotly → Carga Parquet: carga datos
08_visualizacion_api/plotly/app.py - Dashboard Plotly → Gráficos Plotly: genera gráficos
08_visualizacion_api/plotly/app.py - Dashboard HTML → Carga Parquet: carga datos
08_visualizacion_api/plotly/main.py - Dashboard HTML → Gráficos Plotly: genera gráficos
08_visualizacion_api/plotly/main.py - Analista → Dashboard Plotly: explora resultados
README.md - Analista → Interfaz Streamlit: explora resultados
README.md - Interfaz Streamlit → Cliente API: solicita datos
08_visualizacion_api/streamlit_api/app.py - Cliente API → API Gateway: envía HTTP
08_visualizacion_api/streamlit_api/api_client.py - API Gateway → API Lambda: despacha solicitud
README.md - API Lambda → Data Lake S3: consulta datos
README.md