How leonxrdon/botnology works
Para guiar al ingeniero principal en la creación del diagrama de arquitectura de Botnology, sigue estos pasos y recomendaciones, adaptadas al proyecto real:
Identificación del tipo de proyecto y propósito
• Es una aplicación full‑stack basada en Django que gestiona catálogos de productos en PDF.
• Incluye un frontend web (templates y JS), un backend REST/views, ingestión asíncrona de PDFs con Celery, y un chatbot que usa Azure OpenAI.
• Se integra con Azure Document Intelligence para extraer datos de los PDFs y almacena todo en una base de datos relacional.
Análisis de la estructura de archivos
• Carpeta raíz:
• botnology/: configuración de Django (ASGI, WSGI, settings, URLs, celery.py)
• process/: lógica de extracción de PDFs (models, tasks, gpt.py, utils)
• store/: lógica de catálogo y chatbot (models, views, templates, chat.py)
• media/: PDFs subidos
• staticfiles/ y store/static/: recursos CSS/JS/JSON para UI
• db.sqlite3 y migrations: persistencia relacional
• Configuración de Celery en botnology/celery.py
• Dependencias en requirements.txt (Django, Celery, Azure SDKs, etc.)
Puntos clave del README
• Arquitectura bimodal:
a. Servicio de extracción de datos (Azure Document Intelligence + Celery)
b. Aplicación Django + Chatbot (Azure OpenAI)
• Uso de Celery para procesar PDFs en segundo plano y evitar bloqueos.
• Interacción síncrona del usuario vía web UI y chatbot.
Cómo dibujar el diagrama de sistema
a. Componentes principales
• Cliente Web (Navegador con HTML/JS/CSS)
• Servidor Django (Gunicorn/ASGI)
• Base de datos relacional (SQLite en desarrollo; PostgreSQL en producción)
• Almacenamiento de medios (sistema de ficheros o blob storage)
• Broker de mensajería (Redis o RabbitMQ para Celery)
• Workers de Celery
• Azure Document Intelligence (Servicio externo)
• Azure OpenAI (Servicio externo GPT-4o-mini)
• CDN o servidor de staticfiles (opcional)
b. Relaciones e interacciones
1. El usuario sube un PDF → Django recibe en store.views y lo guarda en media/pdfs.
2. Django encola tarea Celery (process.tasks) vía broker.
3. Worker Celery consume la tarea → llama al servicio Azure Document Intelligence (API REST), extrae metadatos y contenido.
4. Worker almacena resultados en la base de datos (process.models.UploadedPDF, store.models.Product).
5. Usuario consulta catálogo vía frontend → Django lee de la base de datos y sirve páginas HTML (store/templates).
6. Usuario chatea → petición AJAX al endpoint de chatbot (store.chat or process.gpt) → Django llama a Azure OpenAI → formatea la respuesta con enlaces a productos → devuelve JSON al cliente.
c. Patrones arquitectónicos
• Separación de responsabilidades: Apps “process” (ingestión asíncrona) vs. “store” (presentación y chatbot).
• Colas de tareas: Celery para desacoplar ingestión de PDFs.
• Backend-for-Frontend: Django expone endpoints que sirven tanto HTML como JSON.
• Servicios externos: Azure Document Intelligence y Azure OpenAI encapsulados detrás de clases utilitarias (process/utils.py, process/gpt.py, store/chat.py).
d. Tecnologías / librerías clave
• Django 4.2 (ORM, views, templates, admin)
• Celery (process/tasks.py)
• Azure SDKs (document-intelligence, openai)
• Python (async/await en ASGI)
• JS/CSS en staticfiles y store/static
Directrices para el diagrama (full‑stack Django)
• Delimita claramente:
• Capa UI (client-side)
• Capa Web/API (Django)
• Capa de Persistencia (DB + Media)
• Capa de Procesamiento asíncrono (Celery + Broker)
• Servicios externos (Azure)
• Muestra flujos de datos:
• Síncrono (peticiones HTTP/HTTPS)
• Asíncrono (colas de mensajes)
• Destaca:
• Endpoints REST/Views de Django
• Tasks de Celery
• Puntos de integración con Azure
Elementos gráficos recomendados
• Forma:
• Rectángulos para componentes internos
• Cilindros para bases de datos
• Nubes para servicios externos (Azure)
• Paralelogramos para almacenamiento de archivos
• Flechas direccionales etiquetadas (“HTTP POST PDF”, “enqueue task”, “API call”, “DB write/read”)
• Código de colores (ejemplo):
• Azul para servidor Django y apps
• Naranja para Celery y broker
• Verde para servicios Azure
• Gris para almacenamiento local
• Leyenda con símbolos y colores
Consejos finales
• Sé exhaustivo: cada carpeta/app es un componente potencial.
• Etiqueta claramente los puertos (8000, broker 6379, etc.) si aplica.
• Muestra los flujos de error o retry de Celery si lo consideras crítico.
• Incluye anotaciones sobre escalabilidad (ej. auto‑scale workers, uso de blob storage en producción).
Con estos lineamientos, el diagrama reflejará fielmente la arquitectura de Botnology, su separación de capas, flujos de datos y la interacción con los servicios de Azure.