How rafaelsancheznavarro/tfg_app works
Proyecto y propósito
Este es una aplicación web en Python/Streamlit para analizar modelos de Machine Learning (clasificación, clustering, detección de anomalías) sobre tráfico de red, con simulación de datos en tiempo real usando Kafka.
Componentes principales
• Frontend: Streamlit (app.py + app/views/*).
• Lógica de negocio: módulos en app/logic (carga de datos, streaming Kafka Producer/Consumer, evaluación).
• Almacenamiento local: CSVs y modelos .pkl en app/data.
• Streaming: Kafka + Zookeeper (docker-compose).
• Utilidades: app/utils (configuración, helpers, detección de anomalías).
Relaciones e interacciones
• Usuario interactúa con Streamlit → vistas llaman funciones de app/logic.
• Producer lee CSVs → envía paquetes a Kafka.
• Consumer suscrito a Kafka → recibe paquetes → alimenta pipelines de evaluación/clustering/anomalías.
• Lógica de evaluación usa modelos .pkl y datos entrantes → devuelve métricas.
• Streamlit actualiza gráficos y tablas con resultados.
Patrones y tecnologías clave
• Patrón MVC ligero: views (UI) ↔ logic (control) ↔ data (modelos y CSV).
• Microservicio de streaming interno: Producer/Consumer con threads y Kafka.
• Docker Compose para orquestar Kafka/Zookeeper.
• Frameworks: Python 3.10+, Streamlit, confluent-kafka (o kafka-python), scikit-learn, t-SNE.
Cómo dibujar el diagrama
a. Capas/Componentes:
• UI (Streamlit).
• Controladores (views → logic).
• Servicio de streaming (Kafka Producer/Consumer + Docker).
• Almacenamiento (CSV local, modelos .pkl).
• Lógica de ML (clasificación, DBSCAN, Isolation Forest).
b. Flujo de datos (flechas):
1. UI → load_data.py → datos CSV.
2. Producer → Kafka topic.
3. Consumer → logic → modelos → métricas.
4. Lógica → UI (resultados).
c. Destacar:
• Docker Compose orquesta Kafka/ZK (resaltar en un rectángulo separado).
• Threading interno en Producer (nota).
Recomendaciones de formato
• Etiquetas claras para cada rectángulo.
• Flechas direccionales con nombres (p.ej. “send()”, “consume()”).
• Colores/formas:
• Azul: componentes Python/Streamlit.
• Verde: pipelines ML.
• Naranja: Kafka/Zookeeper.
• Gris: almacenamiento local.
Toques finales
• Incluye leyenda de colores.
• Agrupa en capas horizontales: UI arriba, lógica en medio, datos/servicios abajo.
• Añade notas breves (p.ej. “Threaded Producer”).