# gbaltar-uiab1/data_pipeline architecture

> Architecture diagram of the GitHub repository gbaltar-uiab1/data_pipeline, generated by GitDiagram from its file tree, README and a sample of source files (last updated 2026-02-24). It is an AI-made overview: check details against the source.

- Interactive diagram: https://gitdiagram.com/gbaltar-uiab1/data_pipeline
- Repository: https://github.com/gbaltar-uiab1/data_pipeline

## Overview

##### Tipo de proxecto e propósito (segundo README + árbore de ficheiros)
Este repo é un **pipeline de datos “multibase”** (ETL/ELT moi lixeiro) reproducible con **Docker Compose + notebooks de Python (Jupyter)**. O obxectivo é coller un dataset (`books.csv`) e **inxestalo/cargalo secuencialmente** en varias tecnoloxías de almacenamento:

##### MongoDB

A “orquestración” do pipeline non está nun servizo backend clásico; está **nos notebooks**, e a infraestrutura das bases está **en Docker Compose**.

##### Análise da estrutura de ficheiros (o que debe reflectir a arquitectura)
Top-level (todo no root):
- `docker-compose.yml`: define os **4 servizos de base de datos** (e potencialmente volumes/ports/network). É o “runtime” do sistema.
- `books.csv`: **fonte de datos** (input do pipeline).
- `1.CargarMySQL.ipynb`: etapa 1 de carga/transformación cara MySQL.
- `2.CargarCassandra.ipynb`: etapa 2, depende do resultado anterior (segundo README).
- `3.CargarRedis.ipynb`: etapa 3.
- `4.CargarMongoDB.ipynb`: etapa 4.
- `service-test.ipynb`: notebook de **verificación/health check** (comprobar que os contedores están arriba e accesibles).

Isto indica unha arquitectura “pipeline por etapas” máis que unha app por capas (non hai `src/`, non hai API server, non hai UI).

##### Pistas do README que son claves para o diagrama
- Execución: `docker-compose up -d` no CWD.
- Dependencias entre operacións: **execución secuencial** dos notebooks.
- A validación do estado dos servizos: `service-test.ipynb`.
- Non se menciona mensaxería, scheduler, nin CI/CD; polo tanto o “control plane” é manual (humano + Jupyter).

##### a) Identificar compoñentes principais (separa “control”, “compute”, “data stores”, “data artifacts”)
Recoméndoche dividir o diagrama en 4 grupos:

##### Entorno de execución / Control
- “User / Data Engineer”
- “Jupyter Notebook Environment” (local, VSCode, JupyterLab, etc.)
- “Docker Engine + Docker Compose” (infra local)

##### Artefactos de datos
- `books.csv` (orixe / input)

##### Etapas do pipeline (compute)
- Notebook 1: `1.CargarMySQL.ipynb`
- Notebook 2: `2.CargarCassandra.ipynb`
- Notebook 3: `3.CargarRedis.ipynb`
- Notebook 4: `4.CargarMongoDB.ipynb`
- Notebook extra: `service-test.ipynb` (observabilidade/validación)

##### Sistemas de almacenamento (data stores)
- MySQL (container)
- Cassandra (container)
- Redis (container)
- MongoDB (container)

> Nota: A “aplicación” aquí é realmente o conxunto de notebooks; as bases son infra.

##### b) Relacións e interaccións (frechas e dirección)
Debuxa dous tipos de frechas (moi importante para claridade):

##### Frechas de “control/execution”
- User → Jupyter (executa notebooks)
- Jupyter → Docker Compose/Docker Engine (arranca/para servizos, indirectamente)

##### Frechas de “data flow”
- `books.csv` → `1.CargarMySQL.ipynb` → MySQL
- (Dependencia de etapas) `1.CargarMySQL.ipynb` → `2.CargarCassandra.ipynb` → Cassandra
- `2.CargarCassandra.ipynb` → `3.CargarRedis.ipynb` → Redis
- `3.CargarRedis.ipynb` → `4.CargarMongoDB.ipynb` → MongoDB

E para o notebook de test:
- `service-test.ipynb` → MySQL / Cassandra / Redis / MongoDB (consultas ping/connection tests)

> A clave é representar que **non hai un bus/event stream**: a dependencia é **procedimental** (execución humana + estado persistido nas bases).

##### c) Patróns arquitectónicos a destacar (o “por que” do debuxo)
- **Pipeline por etapas (staged ETL/ELT)**: cada notebook é unha “stage”.
- **Polyglot persistence**: múltiples bases con modelos distintos (relacional, wide-column, key-value, document).
- **Infra local reproducible**: Docker Compose como “mini-plataforma” para levantar dependencias.
- **Orquestración manual**: non hai Airflow/Prefect/etc.; o diagrama debe reflectir que o scheduler é o usuario.

##### d) Tecnoloxías a etiquetar explícitamente
A falta de ver o contido dos notebooks/compose, no diagrama pon (como mínimo):
- Docker Compose (infra)
- Jupyter/Python (compute/orchestration)
- MySQL, Cassandra, Redis, MongoDB (stores)
- Dataset CSV (`books.csv`) (input)

Opcional pero útil se queres precisión “de conexión”:
- Indicar que a comunicación é por **rede docker** e **ports** (ex.: “Jupyter host → container ports”), aínda que non poñamos números se non están no README.

##### Como adaptar o diagrama ao tipo de proxecto (pipeline multibase, non full-stack)
Aquí non ten sentido un diagrama típico “frontend-backend-db”. En vez diso:

- En horizontal: Stage 1 → Stage 2 → Stage 3 → Stage 4
- En vertical: por baixo de cada stage, a súa base destino
- Entrada á esquerda: `books.csv`
- Caixa lateral: `service-test.ipynb` apuntando a todas as bases

Isto captura a esencia do repo: **secuencia + destinos**.

##### Diagrama 2 (complementario): “Deployment / Runtime (Docker Compose)”
- Un bloque “Docker host”
- Dentro, 4 contedores (MySQL/Cassandra/Redis/MongoDB) conectados nunha “Docker network”
- Fóra, “Jupyter/Python client” conectando a cada contedor
- Se hai volumes (probable), debuxa “Docker volumes” asociados a cada DB (persistencia)

##### Elementos obrigatorios no diagrama (claridade máxima)
- **Etiquetas claras**:
- Nome exacto do notebook (tal cal no repo) para que sexa trazable.
- Nome do servizo DB (MySQL/Cassandra/Redis/MongoDB).
- `books.csv` como data source.
- **Frechas direccionais**:
- Data flow: CSV → notebooks → bases.
- Health check: service-test → bases.
- **Codificación visual**:
- Unha cor/forma para *compute* (notebooks).
- Outra para *data stores* (DBs).
- Outra para *artifacts* (CSV).
- (Opcional) liñas punteadas para “control” e liñas sólidas para “datos”.

##### Nivel de detalle recomendado (separar en “tantos compoñentes como sexa posible”)
Para que o diagrama sexa “o mellor e máis exacto” para este repo, non o deixes en “Jupyter → Databases”. Sepárao así:
- Cada notebook como compoñente independente (porque o README define dependencia secuencial).
- `docker-compose.yml` como compoñente de “provisioning”.
- `service-test.ipynb` como compoñente de observabilidade/validación.
- (Se no compose existen) volumes por DB (persistencia) e network (conectividade).

## Diagram (Mermaid)

```mermaid
flowchart TD
  %% =========================
  %% Global / External Actors
  %% =========================
  User["User / Data Engineer"]:::external

  %% =========================
  %% Control Plane (Manual Orchestration)
  %% =========================
  subgraph "Control & Execution Environment (Local)"
    Jupyter["Jupyter Notebook Environment (Python)"]:::compute
    README["Project README (run order & commands)"]:::doc
    Compose["Docker Compose (docker-compose up -d)"]:::infra
  end

  %% =========================
  %% Data Artifact (Input)
  %% =========================
  subgraph "Data Artifact"
    CSV["books.csv (Dataset Source)"]:::artifact
  end

  %% =========================
  %% Pipeline Stages (Notebook ETL/ELT)
  %% =========================
  subgraph "Staged ETL/ELT Pipeline (Sequential Notebooks)"
    N1["1.CargarMySQL.ipynb"]:::compute
    N2["2.CargarCassandra.ipynb"]:::compute
    N3["3.CargarRedis.ipynb"]:::compute
    N4["4.CargarMongoDB.ipynb"]:::compute
  end

  %% =========================
  %% Validation / Observability
  %% =========================
  subgraph "Validation"
    TestNB["service-test.ipynb (Health Checks)"]:::observe
  end

  %% =========================
  %% Runtime Infra (Dockerized Data Stores)
  %% =========================
  subgraph "Runtime Data Stores (Docker Containers)"
    direction TB
    MySQL[("MySQL (container)")]:::db
    Cassandra[("Cassandra (container)")]:::db
    Redis[("Redis (container)")]:::db
    Mongo[("MongoDB (container)")]:::db
  end

  %% =========================
  %% Control / Execution (dotted)
  %% =========================
  User -.->|"reads"| README
  README -.->|"guides"| Jupyter
  User -.->|"executes notebooks"| Jupyter
  Jupyter -.->|"provisions services"| Compose
  Compose -.->|"starts"| MySQL
  Compose -.->|"starts"| Cassandra
  Compose -.->|"starts"| Redis
  Compose -.->|"starts"| Mongo

  %% =========================
  %% Data Flow (solid)
  %% =========================
  CSV -->|"input"| N1
  N1 -->|"stage dependency"| N2
  N2 -->|"stage dependency"| N3
  N3 -->|"stage dependency"| N4

  N1 -->|"load/transform"| MySQL
  N2 -->|"load/transform"| Cassandra
  N3 -->|"load/transform"| Redis
  N4 -->|"load/transform"| Mongo

  %% =========================
  %% Validation Flows
  %% =========================
  Jupyter -.->|"runs checks"| TestNB
  TestNB -->|"connectivity test"| MySQL
  TestNB -->|"connectivity test"| Cassandra
  TestNB -->|"connectivity test"| Redis
  TestNB -->|"connectivity test"| Mongo

  %% =========================
  %% Click Events (component mapping)
  %% =========================
  click Compose "https://github.com/gbaltar-uiab1/data_pipeline/blob/main/docker-compose.yml"
  click CSV "https://github.com/gbaltar-uiab1/data_pipeline/blob/main/books.csv"
  click N1 "https://github.com/gbaltar-uiab1/data_pipeline/blob/main/1.CargarMySQL.ipynb"
  click N2 "https://github.com/gbaltar-uiab1/data_pipeline/blob/main/2.CargarCassandra.ipynb"
  click N3 "https://github.com/gbaltar-uiab1/data_pipeline/blob/main/3.CargarRedis.ipynb"
  click N4 "https://github.com/gbaltar-uiab1/data_pipeline/blob/main/4.CargarMongoDB.ipynb"
  click TestNB "https://github.com/gbaltar-uiab1/data_pipeline/blob/main/service-test.ipynb"
  click README "https://github.com/gbaltar-uiab1/data_pipeline/blob/main/README.md"

  %% =========================
  %% Styles
  %% =========================
  classDef external fill:#fff3cd,stroke:#b08900,stroke-width:1.5px,color:#3b2f00
  classDef compute fill:#dbeafe,stroke:#1d4ed8,stroke-width:1.5px,color:#0b1f5a
  classDef infra fill:#e5e7eb,stroke:#374151,stroke-width:1.5px,color:#111827
  classDef db fill:#dcfce7,stroke:#16a34a,stroke-width:1.5px,color:#052e12
  classDef artifact fill:#fef3c7,stroke:#d97706,stroke-width:1.5px,color:#3b2200
  classDef observe fill:#fce7f3,stroke:#be185d,stroke-width:1.5px,color:#4a0a24
  classDef doc fill:#ede9fe,stroke:#6d28d9,stroke-width:1.5px,color:#1f1147
```
