# juanfea98/data_engineer_habi architecture

> Architecture diagram of the GitHub repository juanfea98/data_engineer_habi, generated by GitDiagram from its file tree, README and a sample of source files (last updated 2025-03-29). It is an AI-made overview: check details against the source.

- Interactive diagram: https://gitdiagram.com/juanfea98/data_engineer_habi
- Repository: https://github.com/juanfea98/data_engineer_habi

## Overview

El proyecto que estamos analizando es un pipeline de procesamiento de datos (ETL) que realiza la extracción, limpieza y carga de datos en una base de datos, utilizando Python y Docker. La arquitectura se centra en leer archivos de datos, transformarlos y luego insertarlos en la base de datos mediante scripts SQL de creación e inserción de tablas. A continuación, se detallan los pasos y recomendaciones para dibujar un diagrama de arquitectura preciso:

##### Identificación de los componentes principales
- Punto de entrada: El archivo main.py coordina el flujo de ejecución.
- Módulos ETL:
- read_data.py: Responsable de leer y obtener los datos.
- clean_data.py: Se encarga de la transformación y limpieza de los datos.
- load_records.py: Maneja la carga de los datos en la base de datos.
- Directorios de datos:
- Data/Raw: Datos originales.
- Data/Processed: Datos transformados.
- Data/Final: Datos listos para el uso final.
- Configuración: El directorio Config con config.yml define parámetros críticos.
- Utilitarios: El directorio Utils contiene funciones generales y consultas MySQL.
- Scripts SQL:
- SQL/CREATE: Scripts para crear las tablas.
- SQL/INSERT: Scripts para insertar datos en las tablas.
- Entorno de ejecución:
- Docker/Dockerfile: Permite la contenerización y despliegue del proceso ETL.
- requirements.txt: Enumera las dependencias de Python necesarias.

##### Relaciones e interacciones entre componentes
- main.py orquesta el proceso y llama a funciones de los módulos del directorio src.
- El proceso ETL se realiza en tres fases secuenciales: lectura, transformación y carga.
- Los datos se toman inicialmente del directorio Data/Raw.
- Luego se limpian y transforman (Data/Processed y/o Data/Final).
- Finalmente, se insertan en la base de datos, apoyándose en los scripts contenidos en SQL/INSERT y en las definiciones de tablas en SQL/CREATE.
- Los archivos en Config proporcionan variables y parámetros de configuración (por ejemplo, conexión a la base de datos), mientras que los archivos en Utils proporcionan funcionalidades auxiliares (como consultas a MySQL) que se pueden reutilizar en todo el pipeline.

##### Elementos arquitectónicos y patrones de diseño
- Arquitectura ETL dividida en tres módulos claramente diferenciados (extracción, transformación y carga).
- Separa la lógica de negocio del manejo de configuraciones, mejorando la mantenibilidad.
- Uso de Docker para facilitar el despliegue, lo que indica una preocupación por la portabilidad y la consistencia del entorno.
- La presencia de scripts SQL para la creación y la inserción de datos resalta el enfoque en que la base de datos es un componente crítico del sistema.

##### Tecnologías y herramientas relevantes
- Python (para la implementación del pipeline)
- Docker (para contenerización y despliegue)
- MySQL (o el motor de base de datos configurado, inferido de los scripts y consultas)
- Jupyter Notebooks (posiblemente para análisis y exploratoria, dada la presencia de Notebooks en el repositorio)

##### Guía para dibujar el diagrama de sistema
a. Dibuje cajas o bloques representando cada componente principal:
- Un bloque para el “Pipeline ETL”, subdividido en tres sub-bloques: “Lectura de datos” (read_data.py), “Limpieza de datos” (clean_data.py) y “Carga de datos” (load_records.py).
- Bloques para “Configuración” (archivo config.yml) y “Utilidades” (Utils).
- Bloques que representen los diferentes directorios de datos (Raw, Processed, Final).
- Bloques para los “Scripts SQL” que se usan para gestionar el esquema y la inserción de datos.
- Un bloque que indique el “Contenedor Docker” incluyendo Dockerfile y cómo se despliega el proceso.
b. Utilice flechas direccionales para mostrar el flujo de datos y la interacción:
- Desde el directorio Data/Raw hacia el módulo de lectura.
- De “Lectura de datos” a “Limpieza de datos”.
- De “Limpieza de datos” a “Carga de datos”.
- Desde “Carga de datos” hacia la base de datos, definible mediante los Scripts SQL.
- Incluya conexiones desde la “Configuración” al pipeline (demostrando inyección de parámetros) y desde “Utilidades” a “Carga de datos” (para funciones de consulta y manejo).
c. Use colores o formas diferenciadas:
- Por ejemplo, cuadros azules para módulos ETL, cuadros verdes para datos, y cuadros naranjas o grises para scripts y configuración.
d. Añada etiquetas claras en cada componente y asegúrese de que las flechas indiquen la dirección y naturaleza de la comunicación (por ejemplo, "lectura", "transformación", "carga", "consulta").

##### Recomendaciones finales
- Sea lo más detallado posible, descomponiendo cada etapa del pipeline en componentes individuales.
- Asegúrese de representar el uso de Docker y los pasos para ejecutar el proceso, pues este es esencial para la implementación práctica del proyecto.
- Considere incluir notas o un pequeño legendado en el diagrama para explicar la función de componentes críticos, como las utilidades y la configuración.

Con estos puntos, el diagrama de arquitectura reflejará de forma precisa la estructura y el flujo de procesamiento del proyecto, facilitando el entendimiento de todo el pipeline ETL, desde la extracción de datos hasta su inserción en la base de datos, y destacará la integración con Docker para el despliegue. ¡Buena suerte en el diseño del diagrama!

## Diagram (Mermaid)

```mermaid
flowchart TD
    subgraph "Docker Environment"
        DCK["Docker Container (Dockerfile)"]:::docker
    end

    DCK --> ENTRY["main.py"]:::entry

    ENTRY --> CFG["Config (config.yml)"]:::config
    ENTRY --> PIPE["ETL Pipeline"]:::pipeline

    subgraph "ETL Pipeline"
        direction TB
        RAW["Data/Raw"]:::data
        READ["Read Data (read_data.py)"]:::etl
        CLEAN["Clean Data (clean_data.py)"]:::etl
        LOAD["Load Data (load_records.py)"]:::etl
        PROC["Data/Processed"]:::data
        FINAL["Data/Final"]:::data
        
        RAW -->|"lectura"| READ
        READ -->|"transformación"| CLEAN
        CLEAN -->|"carga"| LOAD
        CLEAN --> PROC
        CLEAN --> FINAL
    end

    LOAD --> UTIL["Utils"]:::util
    LOAD --> SQLS["SQL Scripts"]:::sql

    subgraph "SQL Scripts"
        direction TB
        SQL_CREATE["SQL/CREATE"]:::sql
        SQL_INSERT["SQL/INSERT"]:::sql
        SQLS --> SQL_CREATE
        SQLS --> SQL_INSERT
    end

    SQL_CREATE --> DB["Database (MySQL)"]:::database
    SQL_INSERT --> DB
    UTIL --> DB

    %% Click Events
    click ENTRY "https://github.com/juanfea98/data_engineer_habi/blob/main/main.py"
    click READ "https://github.com/juanfea98/data_engineer_habi/blob/main/src/read_data.py"
    click CLEAN "https://github.com/juanfea98/data_engineer_habi/blob/main/src/clean_data.py"
    click LOAD "https://github.com/juanfea98/data_engineer_habi/blob/main/src/load_records.py"
    click RAW "https://github.com/juanfea98/data_engineer_habi/tree/main/Data/Raw"
    click PROC "https://github.com/juanfea98/data_engineer_habi/tree/main/Data/Processed"
    click FINAL "https://github.com/juanfea98/data_engineer_habi/tree/main/Data/Final"
    click CFG "https://github.com/juanfea98/data_engineer_habi/blob/main/Config/config.yml"
    click UTIL "https://github.com/juanfea98/data_engineer_habi/tree/main/Utils"
    click SQL_CREATE "https://github.com/juanfea98/data_engineer_habi/blob/main/SQL/CREATE/TBL_DIM_USERS.sql"
    click SQL_INSERT "https://github.com/juanfea98/data_engineer_habi/blob/main/SQL/INSERT/TBL_DIM_USERS.sql"
    click DCK "https://github.com/juanfea98/data_engineer_habi/tree/main/Dockerfile"

    %% Styles
    classDef entry fill:#f9e79f,stroke:#f39c12,stroke-width:2px;
    classDef etl fill:#aed6f1,stroke:#3498db,stroke-width:2px;
    classDef data fill:#d5f5e3,stroke:#27ae60,stroke-width:2px;
    classDef config fill:#f5cba7,stroke:#e67e22,stroke-width:2px;
    classDef util fill:#d2b4de,stroke:#8e44ad,stroke-width:2px;
    classDef sql fill:#f7dc6f,stroke:#f1c40f,stroke-width:2px;
    classDef database fill:#fadbd8,stroke:#e74c3c,stroke-width:2px;
    classDef docker fill:#d6eaf8,stroke:#5dade2,stroke-width:2px;
    classDef pipeline fill:#ffffff,stroke:#000000,stroke-dasharray: 5 5,stroke-width:2px;
```
