How albexos21/tfg works
A continuación te proporciono una explicación detallada para dibujar un diagrama de arquitectura que refleje de manera precisa y comprensible el diseño del sistema de análisis de sentimientos y polarización en reseñas de videojuegos.
Identificación del proyecto
• Tipo de proyecto: Se trata de una aplicación full-stack cuyo propósito es analizar sentimientos y detectar polarización en reseñas de videojuegos. Además, integra la extracción de datos desde una API (Steam), procesamiento mediante un modelo de lenguaje (Llama 3.2 3B fine-tuned) y visualiza resultados mediante reportes gráficos.
• Roles principales: Procesamiento y análisis de datos, almacenamiento en base de datos (MySQL), visualización de resultados (frontend en React) y entrenamiento/inferencia del modelo NLP.
Componentes clave a incluir en el diagrama
a. Frontend:
• Representa la interfaz de usuario ubicada en el directorio "web/SteamSA-Polarization".
• Indicaciones: Usa React, y muestra cómo los componentes (p. ej., NavBar, Tarjetero, ListaBusqueda, páginas Home y ProductDetail) se integran para mostrar reportes visuales y resultados del análisis.
b. Backend:
• Se encuentra en el directorio "server", donde se ubican archivos como app.py, scripts de análisis (ejecucion_modelo_para_resumen.py, ejecucion_modelo_paralelizado_real.py) y otros de inserción de reseñas.
• Importa módulos de análisis estadístico (analisis_estadistico) y orquesta la comunicación con el frontend.
• Se recomienda también mostrar los puntos de entrada API y las rutas que facilitan la interacción entre el frontend y el procesamiento de datos.
c. Motor del modelo de NLP:
• Ubicado en el directorio "IA" y sus subdirectorios. Este componente contiene:
• El modelo Llama 3.2 3B fine-tuned ("Llama-3.2-3B-ReviewsFineTuning") y sus datos asociados (configuraciones, tokens, etc.).
• Los puntos de entrenamiento y checkpoints guardados en "outputs" y los entrenadores compilados en "unsloth_compiled_cache".
• En el diagrama, representa esta parte como el núcleo del procesamiento de lenguaje, indicando que es responsable del análisis de sentimientos y polarización.
d. Base de datos:
• Se utiliza MySQL, y el proceso de inicialización se encuentra en "setup/database/scripts/creacion_base_de_datos.sql" junto con scripts de inserción.
• Dibuja una conexión entre el backend y la base de datos para almacenar productos, reseñas y resultados de análisis.
e. Pipeline de datos y configuración:
• Muestra la extracción de datos desde la API de Steam usando scripts en "setup/api_steam" (ej. recoger_reseñas_articulo.py) y su procesamiento.
• Asegúrate de incluir los scripts presentes en "setup" (entrenamiento_ia.py, etc.) que conectan la actualización y entrenamiento del modelo con el resto del sistema.
Relaciones e interacciones entre componentes
• El Frontend consulta al Backend a través de APIs REST para obtener datos y reportes.
• El Backend recibe datos de la API de Steam (a través de scripts o tareas programadas en "setup/api_steam") y se comunica con la base de datos MySQL para almacenar y recuperar información.
• El Backend también interactúa con el motor de NLP (directamente o mediante llamadas a scripts en "server") para procesar las reseñas, invocar el modelo fine-tuned y obtener la clasificación de sentimientos y polarización.
• Los resultados del análisis se usan para generar gráficos (usando librerías como Matplotlib y Seaborn) y se sirven al usuario en el Frontend.
Patrón arquitectónico y diseño
• Se observa separación de responsabilidades típica de un proyecto full-stack:
• Capa de presentación (React).
• Capa de negocio/servicios (Flask en el Backend).
• Capa de datos (MySQL).
• Componente especializado de IA/NLP que sigue un patrón modular y permite el entrenamiento y despliegue de modelos.
• Cada uno de estos componentes se comunica mediante APIs o conexiones directas (p. ej., el backend accediendo a la base de datos y al motor del modelo).
Tecnologías y librerías destacadas
• Frontend: React, Node.js, Vite (configurado en vite.config.js).
• Backend: Flask con Python.
• Modelo de NLP: PyTorch, Hugging Face Transformers (integración con Llama 3.2 3B fine-tuned), y scripts relacionados para diferentes estrategias de entrenamiento.
• Base de datos: MySQL, configurada e inicializada mediante scripts SQL.
• Gráficas: Matplotlib y Seaborn para reportes visuales.
Directrices para el diagramador
• Asegúrate de etiquetar claramente cada componente (por ejemplo: “Frontend (React)”, “Backend (Flask)”, “Modelo de NLP (Llama 3.2 3B Fine-tuned)”, “Base de Datos (MySQL)”).
• Utiliza flechas direccionales para indicar flujos de datos:
• Por ejemplo, conecta "API de Steam (setup/api_steam)" → "Backend (Flask)" → "Procesamiento NLP" y "Base de Datos".
• Conecta "Backend" ↔ "Frontend" para la interacción de solicitudes y respuestas.
• Emplea colores o formas diferentes para distinguir entre componentes de procesamiento (backend, IA), almacenamiento (base de datos) y presentación (frontend).
• Incluye también áreas dedicadas a la configuración, como pipelines de entrenamiento e inserción de datos, para representar el entorno completo del sistema.
• Resalta con notas o leyendas patrones de diseño usados, como la separación en capas, integración con APIs de terceros y modularidad del modelo NLP.
En conclusión, el diagrama debe ser muy detallado, abarcando todos los subsistemas:
• Extraer datos desde Steam utilizando scripts de API.
• Procesar y clasificar reseñas mediante el modelo de NLP (con sus distintos puntos de entrenamiento y checkpoints).
• Almacenar información en MySQL.
• Servir los resultados y reportes visuales a través de una interfaz de usuario React.
• Mostrar las interacciones entre estos componentes mediante líneas y flechas bien etiquetadas.
Esta representación gráfica te ayudará a comprender y comunicar la arquitectura integral del sistema, siendo especialmente útil para identificar puntos críticos y optimizar la integración entre los componentes del proyecto.