# sahiansalome14/proyecto2_bigdata architecture

> Architecture diagram of the GitHub repository sahiansalome14/proyecto2_bigdata, generated by GitDiagram from its file tree, README and a sample of source files (last updated 2026-11-19). It is an AI-made overview: check details against the source.

- Interactive diagram: https://gitdiagram.com/sahiansalome14/proyecto2_bigdata
- Repository: https://github.com/sahiansalome14/proyecto2_bigdata

## Overview

El producto es un flujo de análisis de exoplanetas: integra fuentes relacionales, archivos y una API astronómica en un Data Lake S3, transforma y cataloga los datos, y los expone para consultas, análisis y visualización. El README documenta las etapas y tecnologías principales; los vínculos internos de ingesta, procesamiento y Lambda no están desarrollados en los extractos, así que esos enlaces se basan en el README o se dejan sin afirmar. Las relaciones entre módulos de catálogo y visualización citadas sí aparecen en el código mostrado.

Main entry points: [`03_ingesta_data_lake/ingest_to_s3.py`](https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/03_ingesta_data_lake/ingest_to_s3.py) (Ingesta S3), [`05_catalogacion/main.py`](https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/05_catalogacion/main.py) (Orquestación catálogo), [`05_catalogacion/emr_hive/hive_catalog.py`](https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/05_catalogacion/emr_hive/hive_catalog.py) (Catálogo Hive), [`08_visualizacion_api/plotly/app.py`](https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/08_visualizacion_api/plotly/app.py) (Dashboard Plotly)

## Diagram (Mermaid)

```mermaid
flowchart TD

subgraph group_sources["Fuentes de datos"]
  node_mariadb[("RDS MariaDB")]
  node_csv["Archivos CSV"]
  node_nasa["NASA Archive API"]
  node_rds_setup["Carga relacional<br/>[insert_data.py]"]
  node_csv_fetch["Descarga CSV<br/>[download_csv.sh]"]
  node_nasa_extract["Extracción NASA<br/>[extract_api.py]"]
end

subgraph group_lake["Data Lake"]
  node_ingestion["Ingesta S3<br/>[ingest_to_s3.py]"]
  node_s3[("Data Lake S3")]
end

subgraph group_analytics["Procesamiento y análisis"]
  node_raw_trusted["Raw a Trusted"]
  node_pyspark_analysis["Análisis PySpark"]
end

subgraph group_catalog["Catálogo y consultas"]
  node_catalog_main["Orquestación catálogo<br/>[main.py]"]
  node_catalog_config["Configuración catálogo<br/>[config.py]"]
  node_glue_catalog["Catálogo Glue<br/>[glue_catalog.py]"]
  node_emr_cluster["Gestión clúster EMR<br/>[emr_cluster.py]"]
  node_hive_catalog["Catálogo Hive<br/>[hive_catalog.py]"]
  node_sql_queries["Consultas SQL"]
end

subgraph group_presentation["Visualización"]
  node_plotly_loader["Carga Parquet<br/>[data_loader.py]"]
  node_plotly_charts["Gráficos Plotly<br/>[visualizaciones.py]"]
  node_plotly_dashboard["Dashboard Plotly<br/>[app.py]"]
  node_plotly_export["Dashboard HTML<br/>[main.py]"]
  node_streamlit_app["Interfaz Streamlit<br/>[app.py]"]
  node_api_client["Cliente API<br/>[api_client.py]"]
  node_lambda_handler["API Lambda<br/>[handler.py]"]
end

node_analyst(("Analista"))
node_api_gateway["API Gateway"]

node_rds_setup -.->|"carga datos"| node_mariadb
node_csv_fetch -.->|"descarga archivos"| node_csv
node_nasa_extract -.->|"consulta datos"| node_nasa
node_ingestion -.->|"integra fuente"| node_mariadb
node_ingestion -.->|"integra fuente"| node_csv
node_ingestion -.->|"integra fuente"| node_nasa
node_ingestion -.->|"almacena datos"| node_s3
node_s3 -.->|"transforma zonas"| node_raw_trusted
node_s3 -.->|"analiza datos"| node_pyspark_analysis
node_catalog_main -->|"lee configuración"| node_catalog_config
node_catalog_main -->|"ejecuta catálogo"| node_glue_catalog
node_catalog_main -->|"gestiona clúster"| node_emr_cluster
node_catalog_main -->|"ejecuta catálogo"| node_hive_catalog
node_glue_catalog -->|"cataloga Parquet"| node_s3
node_hive_catalog -->|"lee Parquet"| node_s3
node_hive_catalog -->|"envía paso Hive"| node_emr_cluster
node_s3 -.->|"consulta datos"| node_sql_queries
node_s3 -->|"lee Parquet"| node_plotly_loader
node_plotly_dashboard -->|"carga datos"| node_plotly_loader
node_plotly_dashboard -->|"genera gráficos"| node_plotly_charts
node_plotly_export -->|"carga datos"| node_plotly_loader
node_plotly_export -->|"genera gráficos"| node_plotly_charts
node_analyst -.->|"explora resultados"| node_plotly_dashboard
node_analyst -.->|"explora resultados"| node_streamlit_app
node_streamlit_app -->|"solicita datos"| node_api_client
node_api_client -->|"envía HTTP"| node_api_gateway
node_api_gateway -.->|"despacha solicitud"| node_lambda_handler
node_lambda_handler -.->|"consulta datos"| node_s3

click node_rds_setup "https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/02_fuentes_datos/01_rds_mariadb/insert_data.py"
click node_csv_fetch "https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/02_fuentes_datos/02_ec2_csv/download_csv.sh"
click node_nasa_extract "https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/02_fuentes_datos/03_nasa_api/extract_api.py"
click node_ingestion "https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/03_ingesta_data_lake/ingest_to_s3.py"
click node_raw_trusted "https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/04_procesamiento_spark/glue_raw_to_trusted.py"
click node_pyspark_analysis "https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/07_analisis_pyspark/analisis_exoplanetas.py"
click node_catalog_main "https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/05_catalogacion/main.py"
click node_catalog_config "https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/05_catalogacion/config.py"
click node_glue_catalog "https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/05_catalogacion/aws_glue/glue_catalog.py"
click node_emr_cluster "https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/05_catalogacion/emr_hive/emr_cluster.py"
click node_hive_catalog "https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/05_catalogacion/emr_hive/hive_catalog.py"
click node_sql_queries "https://github.com/sahiansalome14/proyecto2_bigdata/tree/main/06_consultas_sql"
click node_plotly_loader "https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/08_visualizacion_api/plotly/data_loader.py"
click node_plotly_charts "https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/08_visualizacion_api/plotly/visualizaciones.py"
click node_plotly_dashboard "https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/08_visualizacion_api/plotly/app.py"
click node_plotly_export "https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/08_visualizacion_api/plotly/main.py"
click node_streamlit_app "https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/08_visualizacion_api/streamlit_api/app.py"
click node_api_client "https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/08_visualizacion_api/streamlit_api/api_client.py"
click node_lambda_handler "https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/08_visualizacion_api/streamlit_api/lambda/handler.py"

classDef toneNeutral fill:#f8fafc,stroke:#334155,stroke-width:1.5px,color:#0f172a
classDef toneBlue fill:#dbeafe,stroke:#2563eb,stroke-width:1.5px,color:#172554
classDef toneAmber fill:#fef3c7,stroke:#d97706,stroke-width:1.5px,color:#78350f
classDef toneMint fill:#dcfce7,stroke:#16a34a,stroke-width:1.5px,color:#14532d
classDef toneRose fill:#ffe4e6,stroke:#e11d48,stroke-width:1.5px,color:#881337
classDef toneIndigo fill:#e0e7ff,stroke:#4f46e5,stroke-width:1.5px,color:#312e81
classDef toneTeal fill:#ccfbf1,stroke:#0f766e,stroke-width:1.5px,color:#134e4a
class node_mariadb,node_csv,node_nasa,node_rds_setup,node_csv_fetch,node_nasa_extract toneBlue
class node_ingestion,node_s3 toneAmber
class node_raw_trusted,node_pyspark_analysis,node_api_gateway toneMint
class node_catalog_main,node_catalog_config,node_glue_catalog,node_emr_cluster,node_hive_catalog,node_sql_queries toneRose
class node_plotly_loader,node_plotly_charts,node_plotly_dashboard,node_plotly_export,node_streamlit_app,node_api_client,node_lambda_handler,node_analyst toneIndigo
```

## Components

### Fuentes de datos

- **RDS MariaDB**
- **Archivos CSV**
- **NASA Archive API**
- [Carga relacional](https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/02_fuentes_datos/01_rds_mariadb/insert_data.py): `02_fuentes_datos/01_rds_mariadb/insert_data.py`
- [Descarga CSV](https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/02_fuentes_datos/02_ec2_csv/download_csv.sh): `02_fuentes_datos/02_ec2_csv/download_csv.sh`
- [Extracción NASA](https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/02_fuentes_datos/03_nasa_api/extract_api.py): `02_fuentes_datos/03_nasa_api/extract_api.py`

### Data Lake

- [Ingesta S3](https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/03_ingesta_data_lake/ingest_to_s3.py): `03_ingesta_data_lake/ingest_to_s3.py`
- **Data Lake S3**

### Procesamiento y análisis

- [Raw a Trusted](https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/04_procesamiento_spark/glue_raw_to_trusted.py): `04_procesamiento_spark/glue_raw_to_trusted.py`
- [Análisis PySpark](https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/07_analisis_pyspark/analisis_exoplanetas.py): `07_analisis_pyspark/analisis_exoplanetas.py`

### Catálogo y consultas

- [Orquestación catálogo](https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/05_catalogacion/main.py): `05_catalogacion/main.py`
- [Configuración catálogo](https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/05_catalogacion/config.py): `05_catalogacion/config.py`
- [Catálogo Glue](https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/05_catalogacion/aws_glue/glue_catalog.py): `05_catalogacion/aws_glue/glue_catalog.py`
- [Gestión clúster EMR](https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/05_catalogacion/emr_hive/emr_cluster.py): `05_catalogacion/emr_hive/emr_cluster.py`
- [Catálogo Hive](https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/05_catalogacion/emr_hive/hive_catalog.py): `05_catalogacion/emr_hive/hive_catalog.py`
- [Consultas SQL](https://github.com/sahiansalome14/proyecto2_bigdata/tree/main/06_consultas_sql): `06_consultas_sql`

### Visualización

- [Carga Parquet](https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/08_visualizacion_api/plotly/data_loader.py): `08_visualizacion_api/plotly/data_loader.py`
- [Gráficos Plotly](https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/08_visualizacion_api/plotly/visualizaciones.py): `08_visualizacion_api/plotly/visualizaciones.py`
- [Dashboard Plotly](https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/08_visualizacion_api/plotly/app.py): `08_visualizacion_api/plotly/app.py`
- [Dashboard HTML](https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/08_visualizacion_api/plotly/main.py): `08_visualizacion_api/plotly/main.py`
- [Interfaz Streamlit](https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/08_visualizacion_api/streamlit_api/app.py): `08_visualizacion_api/streamlit_api/app.py`
- [Cliente API](https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/08_visualizacion_api/streamlit_api/api_client.py): `08_visualizacion_api/streamlit_api/api_client.py`
- [API Lambda](https://github.com/sahiansalome14/proyecto2_bigdata/blob/main/08_visualizacion_api/streamlit_api/lambda/handler.py): `08_visualizacion_api/streamlit_api/lambda/handler.py`

### Other components

- **Analista**
- **API Gateway**

## Connections

- Carga relacional → RDS MariaDB: carga datos (evidence: `README.md`)
- Descarga CSV → Archivos CSV: descarga archivos (evidence: `README.md`)
- Extracción NASA → NASA Archive API: consulta datos (evidence: `README.md`)
- Ingesta S3 → RDS MariaDB: integra fuente (evidence: `README.md`)
- Ingesta S3 → Archivos CSV: integra fuente (evidence: `README.md`)
- Ingesta S3 → NASA Archive API: integra fuente (evidence: `README.md`)
- Ingesta S3 → Data Lake S3: almacena datos (evidence: `README.md`)
- Data Lake S3 → Raw a Trusted: transforma zonas (evidence: `README.md`)
- Data Lake S3 → Análisis PySpark: analiza datos (evidence: `README.md`)
- Orquestación catálogo → Configuración catálogo: lee configuración (evidence: `05_catalogacion/main.py`)
- Orquestación catálogo → Catálogo Glue: ejecuta catálogo (evidence: `05_catalogacion/main.py`)
- Orquestación catálogo → Gestión clúster EMR: gestiona clúster (evidence: `05_catalogacion/main.py`)
- Orquestación catálogo → Catálogo Hive: ejecuta catálogo (evidence: `05_catalogacion/main.py`)
- Catálogo Glue → Data Lake S3: cataloga Parquet (evidence: `05_catalogacion/aws_glue/glue_catalog.py`)
- Catálogo Hive → Data Lake S3: lee Parquet (evidence: `05_catalogacion/emr_hive/hive_catalog.py`)
- Catálogo Hive → Gestión clúster EMR: envía paso Hive (evidence: `05_catalogacion/emr_hive/hive_catalog.py`)
- Data Lake S3 → Consultas SQL: consulta datos (evidence: `README.md`)
- Data Lake S3 → Carga Parquet: lee Parquet (evidence: `08_visualizacion_api/plotly/data_loader.py`)
- Dashboard Plotly → Carga Parquet: carga datos (evidence: `08_visualizacion_api/plotly/app.py`)
- Dashboard Plotly → Gráficos Plotly: genera gráficos (evidence: `08_visualizacion_api/plotly/app.py`)
- Dashboard HTML → Carga Parquet: carga datos (evidence: `08_visualizacion_api/plotly/main.py`)
- Dashboard HTML → Gráficos Plotly: genera gráficos (evidence: `08_visualizacion_api/plotly/main.py`)
- Analista → Dashboard Plotly: explora resultados (evidence: `README.md`)
- Analista → Interfaz Streamlit: explora resultados (evidence: `README.md`)
- Interfaz Streamlit → Cliente API: solicita datos (evidence: `08_visualizacion_api/streamlit_api/app.py`)
- Cliente API → API Gateway: envía HTTP (evidence: `08_visualizacion_api/streamlit_api/api_client.py`)
- API Gateway → API Lambda: despacha solicitud (evidence: `README.md`)
- API Lambda → Data Lake S3: consulta datos (evidence: `README.md`)
