How iansilva2305/sistema_recomendacion_netflix works
A continuación se detalla la estrategia para diseñar un diagrama de arquitectura que represente de forma precisa el sistema de recomendación de contenido para Netflix en AWS, basándose en la estructura de archivos y el contenido del README:
Identificar el tipo y propósito del proyecto
• Se trata de un sistema de recomendación de contenido que utiliza datos de TMDB y técnicas de NLP y aprendizaje automático.
• Su implementación es completamente serverless en AWS, basado en microservicios y utiliza servicios como Lambda, S3, Glue, SageMaker, DynamoDB, API Gateway, Elastic Beanstalk y CloudWatch para monitorización.
• El sistema admite dos métodos de recomendación que emplean distintas combinaciones de variables (similitud basada en la descripción – "overview" – y un método "multi" que combina otros atributos).
Análisis de la estructura del proyecto
• Aunque el árbol de archivos inicial (Notebook.ipynb y el dataset CSV) es mínimo, el README describe la estructura completa, que incluye:
• Una carpeta de CloudFormation para definir la infraestructura.
• Funciones Lambda separadas para el pipeline ETL y la API de recomendaciones.
• Una aplicación Streamlit para el frontend (desplegada en Elastic Beanstalk).
• Notebooks utilizados para análisis y scripts para despliegue.
• Esto indica que la arquitectura se basa en el paradigma serverless y orientado a microservicios, con roles diferenciados para la ingesta/procesamiento de datos, modelado y exposición de la API.
Componentes clave a incluir en el diagrama
a. Ingesta y Procesamiento:
• Fuente de datos (API TMDB y dataset en S3).
• Lambda ETL, que se encarga de extraer y transformar los datos.
• Almacenamiento en S3 para datos sin procesar y datos procesados.
• DynamoDB para almacenar metadatos.
• AWS Glue para la transformación posterior y para preparar los datos del modelo.
• Orquestación de tareas mediante AWS Step Functions y disparadores con EventBridge.
b. Modelos de Recomendación:
• Almacenamiento en S3 para los modelos generados.
• Integración con SageMaker para la ejecución de algoritmos (TF-IDF, Cosine Similarity) para la recomendación.
c. Servicio de Recomendación:
• Lambda API que obtiene datos procesados y modelos para responder a solicitudes de recomendaciones.
• DynamoDB para almacenar y consultar recomendaciones.
• Exposición del servicio a través de API Gateway.
d. Frontend y Presentación:
• Aplicación Streamlit desplegada en Elastic Beanstalk, que se conecta con la API Gateway y, opcionalmente, puede acceder a S3 para otros datos.
e. Monitoreo y Notificaciones:
• CloudWatch para el registro de logs, métricas y alarmas de los diferentes componentes (Lambdas, API Gateway, Elastic Beanstalk).
• SNS para la notificación de incidencias o alarmas.
Relaciones e interacciones
• Utiliza flechas direccionales para indicar el flujo de datos entre:
• TMDB o S3 → Lambda ETL
• Lambda ETL → S3 (datos procesados) y DynamoDB (metadatos).
• EventBridge y Step Functions para coordinar los trabajos de ETL.
• AWS Glue trabajando sobre los datos en S3 para crear modelos, que luego son consumidos por SageMaker.
• S3 y modelos en SageMaker que se relacionan con el Lambda API.
• El API Gateway como punto de entrada para la aplicación y el Lambda API.
• Elastic Beanstalk (Streamlit) conectándose con API Gateway y accediendo a recursos de S3.
• Todos los componentes conectados a CloudWatch para la monitorización, con CloudWatch enviando alertas a SNS.
Instrucciones para el diagrama de sistema
• Dividir el diagrama en secciones claramente diferenciadas para cada grupo funcional (por ejemplo, “Ingesta y Procesamiento”, “Modelos de Recomendación”, “Servicio de Recomendación”, “Frontend”, “Monitoreo y Notificaciones”).
• Incluir etiquetas claras para cada componente (por ejemplo, “AWS Lambda – ETL”, “S3 – Raw Data”, “DynamoDB – Metadata”, “SageMaker – Modelo TF-IDF”, etc.).
• Utilizar flechas direccionales para mostrar cómo fluye la información: desde la ingesta de datos (TMDB y S3 raw data), a través del procesamiento con Lambda, orquestación (Step Functions), transformación (Glue), modelado (SageMaker) y finalmente la respuesta a solicitudes de recomendaciones (API Gateway y Lambda de API).
• Incluir componentes de control y monitorización (como CloudWatch y SNS) en el perímetro de la arquitectura.
Consejos para personalizar el diagrama según este proyecto
• Debido a que es un proyecto serverless basado en microservicios para un sistema de recomendación, enfatizar la separación entre el pipeline de ETL/modelado y la exposición del servicio (API).
• Destacar la relación entre la arquitectura de datos y la interfaz de usuario: cómo se ingieren, transforman y usan los datos para generar recomendaciones.
• Resaltar la utilización de servicios de AWS como parte integral del flujo de trabajo, y cómo cada uno interactúa para cumplir con el objetivo de ofrecer recomendaciones personalizadas.
Elementos cruciales a incluir
• Etiquetado claro de cada componente (por ejemplo, “Lambda ETL”, “Glue Job”, “SageMaker”, “API Gateway”, “Lambda API”, “Elastic Beanstalk – Streamlit”).
• Flechas direccionales para indicar el flujo de datos y dependencias entre los componentes.
• Una sección del diagrama que represente la integración con servicios externos (por ejemplo, la API TMDB).
Siguiendo estas pautas, el principal ingeniero de software podrá crear un diagrama de arquitectura que recoge fielmente los elementos esenciales del sistema. El diagrama no debe ser excesivamente complejo, pero sí debe separar claramente cada uno de los componentes y sus interacciones, lo que facilitará la comprensión y el mantenimiento del sistema en la infraestructura serverless de AWS.