How wsvargas/scraping_instagram_benford works
Para representar con precisión la arquitectura de este proyecto “Analizador de Followers – Ley de Benford”, sigue estos pasos:
Tipo de proyecto y propósito
• Proyecto Python de un solo servicio (monolito) que combina:
• Interfaz de usuario (Streamlit)
• Módulo de scraping de Instagram
• Módulo de análisis estadístico (Ley de Benford)
• Módulo de generación de reportes (Gráficos + Excel)
• Propósito: Detectar anomalías en la distribución de seguidores de Instagram para descubrir actividad de bots.
Componentes principales a dibujar
A. Usuario / Cliente
– Navegador web
– Interactúa con la UI de Streamlit
B. Capa de Presentación (Streamlit)
– ins.py arranca el servidor Streamlit
– Recibe parámetros (nombre de cuenta, umbrales)
– Muestra dashboards/plots
C. Capa de Negocio
1. Scraping Module
• Lee cookies.env para autenticación
• Gestiona paginación y delays dinámicos
• Llama a los endpoints web de Instagram
• Maneja reintentos y soft-bans (respuesta no-JSON, bloqueos)
2. Analysis Module
• Extrae primer dígito de cada conteo de followers
• Calcula distribución real vs. Ley de Benford
• Mide desviaciones, umbrales, probabilidades
3. Reporting Module
• Genera gráficos con Matplotlib
• Exporta un reporte Excel (pandas + openpyxl)
D. Persistencia / Logging
– logs.txt para seguimiento de ejecución y errores
– respuesta_bloqueo.html para debugging de bloqueos
– Excel resultante como artefacto de salida
E. Servicios Externos
– Instagram Web Endpoints (HTTP requests)
Relaciones e interacciones
• Usuario → (HTTP) → Streamlit UI
• Streamlit UI → invoca funciones de ins.py
• Scraping Module → (HTTP) → Instagram Endpoints
• Scraping Module → devuelve datos brutos → Analysis Module
• Analysis Module → datos procesados → Reporting Module
• Reporting Module →
• Gráficos → Streamlit UI
• Excel → sistema de archivos
• Cualquier módulo → logs.txt
Patrones y principios arquitectónicos
• Capa de Presentación / Negocio / Persistencia (arquitectura en capas)
• Separación de responsabilidades:
• UI vs. Scraping vs. Lógica de Negocio vs. Reportes
• Robustez y tolerancia a fallos en Scraping (reintentos, delays)
Guía para el diagrama
• Usa rectángulos para componentes internos (cada módulo).
• Usa cilindros o documentos para artefactos: logs.txt, Excel.
• Usa nube o icono “WWW” para Instagram (servicio externo).
• Flechas con sentido del flujo de datos (requests, respuestas, resultados).
• Azul (UI)
• Verde (Scraping)
• Amarillo (Análisis)
• Naranja (Reportes)
• Gris (Logging / Artefactos)
• Morado (Servicios externos)
Elementos mínimos a incluir
• Etiquetas claras: “Streamlit UI”, “Scraping Module”, “Analysis Module”, “Reporting Module”
• Flechas con anotaciones: “GET followers”, “datos crudos → análisis”
• Conexión a cookies.env para autenticación
• Indicar logs.txt y Excel como salidas
• Ambiente de ejecución: Python 3.x, requirements.txt
Con este esquema tu diagrama mostrará de forma detallada y fiel cada parte del sistema, sus interacciones, tecnologías y flujos de datos.