# tamarakaren/sistemaetlbasico architecture

> Architecture diagram of the GitHub repository tamarakaren/sistemaetlbasico, generated by GitDiagram from its file tree, README and a sample of source files (last updated 2025-04-21). It is an AI-made overview: check details against the source.

- Interactive diagram: https://gitdiagram.com/tamarakaren/sistemaetlbasico
- Repository: https://github.com/tamarakaren/sistemaetlbasico

## Overview

##### Project type and purpose
- Tipo: Pipeline ETL básico + Dashboard de visualización.
- Propósito: Consolidar datos heterogéneos (CSV), limpiarlos/normalizarlos con Python (Pandas, NumPy), exportar salidas (CSV, Excel) y exponer un dashboard interactivo (Streamlit, Plotly) para análisis.

##### Análisis de la estructura de archivos
- Top‑level scripts:
- limpieza_datos.py – contiene toda la lógica de Extract/Transform/Load (ETL).
- dashboard.py – implementación de la UI interactiva con Streamlit y Plotly.
- run_dashboard.bat – wrapper Windows para lanzar el dashboard.
- Datos:
- datos_desordenados.csv – fuente de datos crudos.
- datos_limpios.csv / datos_limpios.xlsx – salidas del pipeline.
- Configuración/dependencias: requirements.txt, .gitignore, README.md.

##### Insights del README
- Tres fases ETL:
1) Extract: lectura inicial como texto (dtype=str).
2) Transform: limpieza de columnas, imputación, conversión de tipos, estandarización, deduplicación.
3) Load: escritura de CSV y Excel formateado (XlsxWriter); hooks opcionales para SQLAlchemy/pymongo.
- Dashboard dinámico que consume datos limpios y ofrece gráficas (barras, líneas, tablas).

##### Componentes principales para el diagrama
a) Data Sources
- Fuente primaria: datos_desordenados.csv
- (Opcional) API / Base de datos externa
b) ETL Module
- Extract Component (limpieza_datos.py: lectura con Pandas)
- Transform Component (módulos de limpieza, normalización, imputación, tipado)
- Load Component (generación de datos_limpios.csv y datos_limpios.xlsx; opcional loader a BBDD)
c) Data Storage
- datos_limpios.csv (archivo plano)
- datos_limpios.xlsx (archivo Excel con formato avanzado)
- (Opcional) Bases de datos SQL/NoSQL
d) Dashboard Layer
- Streamlit app (dashboard.py)
- Visualizaciones con Plotly
- run_dashboard.bat como launcher en Windows
e) External Services (opcional)
- SQLAlchemy (SQL)
- pymongo (NoSQL)

##### Relaciones e interacciones
- Flechas unidireccionales:
- Raw Data → Extract
- Extract → Transform
- Transform → Load
- Load → Data Storage
- Dashboard → Data Storage (lectura)
- Opción: ETL → Base de Datos → Dashboard, si se activa la carga a BBDD.

##### Patrones arquitectónicos y buenas prácticas
- Pipeline ETL clásico secuencial (batch).
- Separación clara de responsabilidades: un solo script dedicado a ETL, otro a UI.
- Extensibilidad: hooks para nuevas fuentes de datos y sinks (APIs, BBDD).
- Enfocar en idempotencia (mismo raw data → mismo clean data) y trazabilidad.

##### Tecnologías clave
- Python 3, Pandas, NumPy (procesamiento)
- XlsxWriter (formato Excel)
- Streamlit, Plotly (UI y visualización)
- SQLAlchemy, pymongo (opcionales para persistencia en BBDD)
- Gestión de entorno: venv, pip

##### Guía de dibujo del diagrama
- Use cajas rectangulares para componentes de proceso (Extract, Transform, Load, Dashboard).
- Use cilindros o iconos de base de datos para data stores (CSV, Excel, BBDD opcional).
- Flechas direccionales claras para mostrar flujo de datos.
- Azul para procesos ETL
- Verde para almacenes de datos
- Naranja para capa UI (dashboard)
- Etiquetas: nombre de script o tecnología al lado de cada componente (e.g., “Transform (Pandas)”).
- Agrupe etapas ETL dentro de un contenedor “Data Pipeline”.

##### Detalles a capturar
- Flujo completo desde la fuente hasta la visualización.
- Posibles extensiones (nuevas fuentes, carga a BBDD).
- Scripts de ejecución (python limpieza_datos.py, streamlit run dashboard.py, run_dashboard.bat).
- Outputs generados (archivos CSV/Excel).

Con esta información, el diagrama ilustrará de forma precisa la arquitectura de la plataforma de unificación y calidad de datos, haciendo evidente cada componente, sus interacciones y tecnologías empleadas.

## Diagram (Mermaid)

```mermaid
flowchart TD
    %% Data Sources
    RawCSV["Raw Data (datos_desordenados.csv)"]:::dataStore

    %% Data Pipeline
    subgraph "Data Pipeline"
        Extract["Extract (limpieza_datos.py)"]:::etl
        Transform["Transform (Pandas, NumPy)"]:::etl
        Load["Load (CSV/Excel, XlsxWriter)"]:::etl
    end

    RawCSV --> Extract
    Extract --> Transform
    Transform --> Load

    %% Data Storage
    CleanCSV["Clean Data CSV (datos_limpios.csv)"]:::dataStore
    CleanExcel["Clean Data Excel (datos_limpios.xlsx)"]:::dataStore
    DBSQL["Optional SQL DB"]:::dataStore
    DBNoSQL["Optional NoSQL DB"]:::dataStore

    Load --> CleanCSV
    Load --> CleanExcel
    Load --> DBSQL
    Load --> DBNoSQL

    %% Dashboard Layer
    subgraph "Dashboard Layer"
        Dashboard["Streamlit Dashboard (dashboard.py)"]:::ui
        Launcher["Launcher (run_dashboard.bat)"]:::ui
    end

    CleanCSV --> Dashboard
    CleanExcel --> Dashboard
    DBSQL --> Dashboard
    DBNoSQL --> Dashboard
    Launcher --> Dashboard

    %% Configuration & Documentation
    subgraph "Config & Docs"
        Requirements["requirements.txt"]:::docs
        Readme["README.md"]:::docs
        Gitignore[".gitignore"]:::docs
    end

    %% Click Events
    click RawCSV "https://github.com/tamarakaren/sistemaetlbasico/blob/master/datos_desordenados.csv"
    click Extract "https://github.com/tamarakaren/sistemaetlbasico/blob/master/limpieza_datos.py"
    click CleanCSV "https://github.com/tamarakaren/sistemaetlbasico/blob/master/datos_limpios.csv"
    click CleanExcel "https://github.com/tamarakaren/sistemaetlbasico/blob/master/datos_limpios.xlsx"
    click Dashboard "https://github.com/tamarakaren/sistemaetlbasico/blob/master/dashboard.py"
    click Launcher "https://github.com/tamarakaren/sistemaetlbasico/blob/master/run_dashboard.bat"
    click Requirements "https://github.com/tamarakaren/sistemaetlbasico/blob/master/requirements.txt"
    click Readme "https://github.com/tamarakaren/sistemaetlbasico/blob/master/README.md"
    click Gitignore "https://github.com/tamarakaren/sistemaetlbasico/blob/master/.gitignore"

    %% Styles
    classDef etl fill:#AED6F1,stroke:#3498DB;
    classDef dataStore fill:#ABEBC6,stroke:#27AE60;
    classDef ui fill:#F5B041,stroke:#D35400;
    classDef docs fill:#F2F3F4,stroke:#CACFD2;
```
