How ucm-gidia-pd1/c2526-r2 works
Qué tipo de proyecto es y para qué sirve (según árbol + README)
Tipo: pipeline de datos (ETL/ELT) en Python, con foco geoespacial e inmobiliario.
Propósito: construir datasets (Madrid) para alimentar tres “motores” funcionales descritos en el README:
Ejecución (usuario/runner) dispara scripts por etapa
• 1_Extraccion/* → produce datasets “raw”
Extracción habla con fuentes externas (HTTP APIs/descargas) y escribe en
• MinIO/raw (o local temporal + subida a MinIO)
Limpieza lee desde MinIO/raw y escribe a
• MinIO/processed
Agrupación lee de processed (y/o raw) y genera
• MinIO/curated (datasets listos para features/modelos)
Analítica/modelos (futuro) consume curated y produce
• predicciones, capas geográficas, scores, etc. (posiblemente de vuelta a MinIO o a una DB/serving layer)
Aristas importantes a dibujar:
• funciones_minio.py como dependencia transversal de todas las etapas (flechas de dependencia, no de datos).
• config.py alimenta al cliente MinIO (flecha de configuración).
Patrones/decisiones arquitectónicas a resaltar (c)
• Arquitectura por pipeline (ETL por scripts) con separación por etapas.
• Separación por dominios de datos dentro de cada etapa (viviendas, transporte, INE, catastro, OSM).
• Almacenamiento tipo “data lake” (MinIO) como “single source of truth”.
• Geoespacial como eje: rejillas, geometrías, joins espaciales (especialmente en 2_Agrupacion).
• Configuración por entorno (env vars) para credenciales.
Tecnologías y librerías a incluir en el diagrama (d)
Del README y nombres:
• Python + uv (gestión de entorno/ejecución)
• MinIO (S3 compatible) como dataset store
• OSMnx / OpenStreetMap
• Fuentes: INE, Catastro, Ayuntamiento de Madrid, CRTM/transporte, Idealista API
Si en pyproject.toml aparecen (no lo has pegado, pero es probable): geopandas, pandas, shapely, requests, scikit-learn, etc.; inclúyelas solo si son realmente relevantes para explicar un bloque (p.ej., “GeoPandas en fase de agregación”).
Paso 1: Haz 3 niveles de diagramas (recomendado)
1) Contexto (C4 L1): sistema MAiDay vs actores/fuentes externas (INE, Catastro, OSM, Idealista, Ayto, CRTM, MinIO).
Contenedores (C4 L2): Ingesta, Procesado, Storage, Consumo analítico.
3) Componentes (C4 L3): cada script importante como componente dentro de Ingesta/Limpieza/Agrupación.
Esto evita un único diagrama gigante ilegible, pero sigue “separando en tantos componentes como sea posible”.
Paso 2: En el diagrama de contenedores, modela “zonas de datos”
En MinIO dibuja tres prefijos aunque sean conceptuales:
• raw/ (salidas directas de extracción)
• processed/ (datos limpios)
• curated/ (agregados/features listos)
Paso 3: En el diagrama de componentes, sé literal con el repo
Cada archivo principal es un bloque:
• 1_Extraccion: A…H
• 2_Datos/1_Limpieza: A…C
• 2_Datos/2_Agrupacion: A…B + ayto
• utils/funciones_minio.py como librería transversal
Conecta cada bloque al dataset que produce/consume (etiqueta flechas con formato: Parquet/CSV/GeoJSON, etc., si lo sabes).
Paso 4: Señala “lo que falta” sin inventar
3_Carga y 4_Analisis están vacíos: dibújalos como placeholders (“not implemented in repo yet”) conectados con líneas punteadas desde curated.
Elementos visuales obligatorios en el diagrama (según tu checklist)
• Etiquetas claras: nombre del script + rol (“Extractor INE”, “Limpieza transporte”, “Agregación rejilla”)
• Flechas direccionales:
• Fuentes externas → Extractores
• Extractores → MinIO/raw
• Limpieza → MinIO/processed
• Agrupación → MinIO/curated
• Curated → Motores analíticos
• Codificación por colores / formas (sugerencia concreta):
• Rectángulos azules: *Jobs/Scripts Python*
• Cilindros morados: *Storage (MinIO)*
• Nubes grises: *Fuentes externas*
• Hexágonos verdes: *Motores ML/IA (consumidores)*
• Líneas punteadas: *futuro / no implementado*
Plantilla de diagrama (para que lo puedas plasmar rápido)
Diagrama “Contenedores” (alto nivel):
• Actor: “Analista/Dev (uv run …)”
• Bloque: “Extracción (1_Extraccion)” → MinIO/raw
• Bloque: “Limpieza (2_Datos/1_Limpieza)” lee raw → escribe processed
• Bloque: “Agrupación (2_Datos/2_Agrupacion)” lee processed → escribe curated
• Bloques punteados: “Carga (3_Carga)”, “Análisis/Modelos (4_Analisis)”
• Fuentes externas: Idealista, INE, Catastro, OSM, Ayto, Transporte/CRTM
Diagrama “Componentes extracción”:
• 7 conectores (A…H) cada uno con flecha a su fuente y a MinIO/raw
• G_rejillas_madrid.py como “grid generator” que alimenta después agregación
Si pegas el contenido de src/config.py y src/utils/funciones_minio.py (y, si quieres, pyproject.toml), puedo decirte exactamente qué cajas y flechas añadir (p.ej., si hay rutas/prefijos concretos en MinIO, formatos de salida, dependencias internas entre scripts) para que el diagrama sea todavía más fiel al código.