How jagonzalezmaita/facturas-ocr-llm-powerbi works
Project type and purpose
• Este es un pipeline batch offline para transformar facturas PDF en datos estructurados, usando OCR (PaddleOCR), un LLM local (Nous Hermes 2 – Mistral 7B), SQLite y, para visualización, un dashboard de Power BI.
• El usuario inicia el proceso colocando PDFs en carpetas por año/mes; luego ejecuta python -m src.main.
Analizar la estructura de archivos
• Top‐level:
– dashboard/ → definición y recursos Power BI
– data/ → entrada (facturas/sin_procesar), salida (output JSON e imágenes) y base de datos SQLite
– models/ → binarios de OCR y LLM
– src/ → módulos de pipeline (ocr, llm, postprocessor, db, utils, config, common) y entrypoint main.py
– logs/, tests/
• Patrón arquitectónico: pipeline modular (secuencia de stages), manejo de archivos en FS, DB como store final.
Inspeccionar README para insights
• Se describe paso a paso: OCR → preprocesamiento → prompt → invocación LLM → postprocesamiento → inserción en SQLite → dashboard Power BI vía ODBC.
• Dependencias: Python 3.13, PaddleOCR, llama-cpp-python, SQLite ODBC.
Crear el diagrama de sistema
a. Componentes principales (cada uno como caja):
1. File System (FS):
• Ingreso de PDFs
• Output FS: imágenes OCR, JSONs OCR/LLM/post
2. OCR Processor (PaddleOCR)
3. Preprocessor & Prompt Builder
4. LLM Inference (Nous Hermes 2 local)
5. Postprocessor (validaciones y formateo)
6. SQLite Database (data/database/facturas.db)
7. Power BI Dashboard (dashboard/, ODBC DSN)
8. Logging & Tests (logs/, tests/)
b. Relaciones / flujo:
• PDFs → OCR → JSON OCR → Preprocessor → Prompt → LLM → JSON LLM → Postprocessor → JSON final → DB
• Power BI se conecta a DB
• Logs se generan en cada stage
c. Patrones / principios:
• Pipeline secuencial de etapas (arquitectura por capas)
• Separación de responsabilidades en módulos Python
• Offline batch, FS-driven
d. Tecnologías clave:
• PaddleOCR, llama-cpp-python, SQLite, ODBC, Power BI
Guía de estilo para el diagrama
• Use cajas rectangulares para cada componente de cálculo o módulo de código.
• Use cilindros para bases de datos (SQLite).
• Use nubes o íconos especiales para servicios externos (Power BI, ODBC).
• Conecte con flechas direccionales que indiquen el flujo de datos (de PDFs a DB).
• Asigne colores:
– Azul para procesamiento (OCR, LLM, post)
– Verde para almacenamiento (FS, DB)
– Naranja para consumo/visualización (Power BI)
• Etiquete cada flecha con el tipo de artefacto (por ejemplo: “PDF”, “OCR‐JSON”, “JSON final”, “ODBC query”).
Detalles y recomendaciones
• Asegúrese de mostrar carpetas clave (data/facturas, data/output, data/database).
• Demarque módulos Python principales (src/ocr/ocr_reader.py, src/llm/…, src/db/db_manager.py).
• Incluya los modelos en “models/” como repositorio offline.
• Añada notas sobre configuración (.env, requirements.txt) y tests automatizados.
Con este esquema, el diagrama reflejará con precisión la arquitectura en capas del pipeline de facturas OCR+LLM, mostrando todas las interacciones y tecnologías involucradas.