How diegomonterocrc/movie_insights works
1. Arquitectura general
- El repo está organizado como una canalización de datos simple en Python: entrada CSV cruda → limpieza/procesamiento → CSV limpio → análisis exploratorio y dashboard.
- No hay base de datos ni backend separado; todo el flujo se apoya en archivos locales.
2. Capa de datos
- Data/raw/tmdb_2020_to_2025.csv es la fuente original del proyecto, un dataset de TMDB con películas de 2020 a 2025.
- Data/processed/tmdb_limpio.csv es el artefacto derivado que consume el dashboard y probablemente el resto del análisis.
3. Subsistema de procesamiento
- src/main.py actúa como punto de entrada para el procesamiento por consola.
- Su función es ejecutar la carga y limpieza del dataset antes de generar el archivo procesado.
4. Lógica central de datos
- src/clases/cargadorDatos.py concentra la funcionalidad principal de ingesta y depuración.
- Según el README, esta clase encapsula: carga del CSV, vista previa, resumen de nulos, limpieza de columnas y exportación del dataset limpio.
- Este módulo es el núcleo reutilizable de la arquitectura.
5. Flujo de transformación
- El flujo esperado es: leer CSV crudo, inspeccionar calidad de datos, eliminar columnas no útiles, revisar nulos/duplicados y guardar el resultado en Data/processed/.
- Esa transformación separa claramente el dato de origen del dato listo para análisis.
6. Dashboard interactivo
- dashboard/app.py es la aplicación principal de visualización con Streamlit.
- Consume el dataset limpio para mostrar métricas, distribuciones, filtros por año e idioma, y tendencias temporales.
- dashboard/main.py funciona como punto de entrada auxiliar del dashboard.
7. Análisis exploratorio
- Notebooks/01_EDA.ipynb contiene el EDA documentado.
- Este subsistema es analítico y no productivo: se usa para explorar estadística descriptiva, nulos, outliers, correlaciones y visualizaciones.
- El archivo HTML exportado indica que el notebook también se presenta como reporte estático.
8. Separación de responsabilidades
- La repo divide bien tres capas: procesamiento, exploración, y visualización interactiva.
- El procesamiento se hace una sola vez para generar el dataset limpio; el dashboard y el notebook trabajan sobre datos ya preparados.
9. Tecnologías relevantes
- El stack es Python con Pandas para manipulación de datos.
- Streamlit para la interfaz interactiva.
- Jupyter Notebook, Matplotlib y Seaborn para el EDA y gráficos.
- El proyecto se desarrolla y ejecuta localmente, sin infraestructura cloud visible en el repo.
10. Artefactos importantes para el diagrama
- Entrada: CSV bruto de TMDB.
- Proceso: clase cargadorDatos invocada desde src/main.py.
- Salida: CSV limpio en Data/processed/.
- Consumidores: dashboard/app.py y Notebooks/01_EDA.ipynb.
11. Límites del sistema
- El sistema depende de archivos locales y de la estructura de carpetas; no hay servicios externos en tiempo de ejecución.
- El dashboard no parece escribir datos, solo leerlos.
- El notebook es un entorno de análisis manual, separado de la ejecución principal.
12. Lectura arquitectónica resumida
- Piensa en el repo como un pipeline de datos con dos consumidores: un reporte exploratorio y una aplicación visual.
- El componente central es la clase de carga/limpieza, que convierte el dataset TMDB en una versión consistente para análisis posterior.
Main entry points: app.py Streamlit app · 01_EDA.ipynb EDA notebook · tmdb_limpio.csv Clean CSV · cargadorDatos.py Loader class
Components 16
Data files
Local CSV artifacts used as input and output.
Processing
Console pipeline that loads, inspects, cleans, and exports the dataset.
- Main entry · Console entrypoint for the cleaning pipeline.
src/main.py - Loader class · Reusable class that centralizes loading and cleaning logic.
src/clases/cargadorDatos.py - Load · Reads the raw CSV into memory.
- Inspect · Checks preview, nulls, and basic data quality.
- Clean · Removes unneeded columns and cleans records.
- Export · Writes the cleaned CSV to the processed folder.
Dashboard
Interactive Streamlit app that reads the cleaned dataset.
- Dashboard entry · Auxiliary entrypoint for launching the dashboard.
dashboard/main.py - Streamlit app · Interactive dashboard built on the cleaned dataset.
dashboard/app.py - Metrics · High-level KPIs and summary cards.
- Filters · Year and language filtering controls.
- Trends · Temporal and distribution views.
EDA
Notebook-based exploratory analysis and its exported report.
- EDA notebook · Interactive exploratory analysis workspace.
Notebooks/01_EDA.ipynb - EDA charts · Descriptive statistics, outliers, correlations, and plots.
- HTML report · Exported notebook report for offline viewing.
Notebooks/01_EDA.ipynb/01_EDA.html
Connections 15
- Main entry → Loader class: runs · Console entrypoint invokes the loader/cleaner.
- Loader class → Load: starts · Begins by reading the raw dataset.
- Load → Raw CSV: reads · Loads the source CSV file.
- Load → Inspect: passes · Moves loaded data into inspection.
- Inspect → Clean: guides · Inspection informs the cleaning steps.
- Clean → Export: prepares · Cleaned rows are ready for export.
- Export → Clean CSV: writes · Creates the processed CSV artifact.
- Dashboard entry → Streamlit app: launches · Auxiliary entrypoint starts the Streamlit app.
- Streamlit app → Clean CSV: reads · Dashboard consumes the cleaned dataset.
- Streamlit app → Metrics: renders · Displays summary metrics.
- Streamlit app → Filters: offers · Provides interactive filtering controls.
- Streamlit app → Trends: shows · Visualizes distributions and trends.
- EDA notebook → Clean CSV: analyzes · Notebook works on the processed dataset.
- EDA notebook → EDA charts: produces · Creates exploratory plots and summaries.
- EDA notebook → HTML report: exports · Notebook is exported as a static HTML report.