How lacamposm/news-clustering works
Para diseñar el diagrama de arquitectura para este proyecto de News Clustering, sigue estos pasos y recomendaciones específicas, teniendo en cuenta tanto la información del árbol de archivos como la descripción detallada en el README:
Componentes principales del sistema
• Data Acquisition & Preprocesamiento:
• Módulo Scraper: Basado en utils/scraper.py, responsable de extraer URLs y contenido íntegro de las noticias.
• Persistencia de datos “raw”: Archivo en el directorio data/bronze contiene datos primarios (por ejemplo, en formato parquet) obtenidos del periódico.
• Procesamiento con LLMs y Embeddings:
• Módulo LLM: utils/llms.py se encarga de generar resúmenes y generar embeddings, utilizando Ollama y los modelos sugeridos.
• Clustering & Modelado:
• La orquestación principal se encuentra en main_news.py, que llama a las funciones de scraping, resumen, embebido y posteriormente invoca técnicas de modelado y clustering.
• Módulo Model: En el paquete model se implementa la lógica de clustering (por ejemplo, validación de clusters, selección de modelos) y se pueden ver artefactos (como el archivo .joblib) relacionados con el modelo.
• Algoritmos y técnicas: Aparte de clustering (K-means, HDBSCAN) se realizan reducciones de dimensionalidad (PCA, UMAP) y visualizaciones (t-SNE, UMAP) posiblemente integradas en utils/plots.py.
• Persistencia y Almacenamiento:
• Directorio data/silver: Almacena datos intermedios o transformados, como resúmenes y versiones mejoradas de los datos generados.
• Archivos de formatos variados como .parquet y .json indican transiciones entre “bronze” (datos en bruto) y “silver” (datos procesados).
Relaciones e interacciones
• El flujo comienza en main_news.py, que orquesta todo el proceso.
• Primero se ejecuta el scraper para recolectar noticias, generando datos en data/bronze.
• Luego, mediante funciones en utils/llms.py, se obtienen los resúmenes y embeddings, generando nuevos archivos en data/silver.
• Posteriormente, el módulo model utiliza estos datos transformados para aplicar algoritmos de clustering, reducciones de dimensionalidad y validación de los clusters.
• Finalmente, posiblemente se generen visualizaciones y evaluaciones con utilerías en utils/plots.py y utils/custom_eval_metrics.py.
Patrones arquitectónicos y tecnologías
• La separación de responsabilidades es clave: cada módulo (scraper, procesador/LLM, modelado y evaluación) cumple funciones específicas.
• Se adopta un enfoque batch o en pipeline, donde la salida de cada etapa sirve de entrada para la siguiente.
• El uso de librerías de Python y herramientas como Ollama para LLMs son componentes externos críticos, por lo que en el diagrama se debe resaltar la integración con estos servicios.
Directrices para el diagrama
a. Divide el diagrama en “capas” o “módulos”:
• Capa de Adquisición de Datos: Representa el scraper y el almacenamiento inicial (data/bronze).
• Capa de Procesamiento & Transformación: Incluye el módulo LLM (utils/llms.py), donde se generan resúmenes y embeddings.
• Capa de Modelado y Clustering: Representa el main script (main_news.py) y el paquete model, donde se ejecutan los algoritmos de reducción de dimensionalidad y clustering.
• Capa de Persistencia y Almacenamiento: Muestra cómo se guardan los archivos intermedios en data/silver.
b. Representa las dependencias/flujo de datos:
• Usa flechas direccionales para indicar la secuencia: de la adquisición (scraper) → preprocesamiento con LLM → clustering y modelado → visualización/evaluación.
c. Incluye elementos para la integración con servicios externos:
d. Codificación de colores y formas:
• Usa colores diferentes o formas (por ejemplo, rectángulos para módulos, cilindros para bases de datos) para distinguir procesos internos, almacenamiento y dependencias externas.
e. Etiquetado claro:
• Asegúrate de nombrar cada componente (por ejemplo, “Scraper (utils/scraper.py)”, “LLM & Embeddings (utils/llms.py)”, “Clustering (model y main_news.py)”) para mayor claridad.
Sugerencias adicionales
• Dado que el proyecto realiza un pipeline batch de adquisición, procesamiento y análisis, asegúrate de capturar la secuencia temporal y la transformación de datos (de “bronze” a “silver”).
• Destaca que el diagrama es iterativo: cada etapa transforma y enriquece los datos brutos en insights a través de técnicas de reducción de dimensionalidad y clustering.
• Considera hacer referencias a las bibliotecas clave (por ejemplo, joblib en model para serialización del modelo, y herramientas de visualización si están implementadas) para ofrecer un contexto completo.
Resumiendo, el diagrama se estructura en:
1. Componente de extracción de datos (Scraper).
2. Componente de procesamiento (LLM para resumen y embebido).
3. Componente de modelado & clustering.
4. Almacenamiento de datos intermedios y finales.
5. Integración con servicios externos (Ollama).
Siguiendo estas instrucciones, podrás representar visualmente la arquitectura del sistema de News Clustering, facilitando la comprensión de la secuencia de operaciones y la interacción entre los diversos módulos y tecnologías empleados en el proyecto.