How michaelsuarez0/funcionarios_publicos works
El producto es un scraper Scrapy del Directorio Nacional de Funcionarios Públicos del Perú. El flujo principal va desde la ejecución local hasta el descubrimiento de páginas, la extracción de perfiles y la escritura de CSV fechados. El spider también gestiona bloqueos y reintentos; la configuración activa la normalización de fechas y el exportador delimitado por punto y coma. Las conexiones se basan en los fragmentos y en las capacidades descritas en el README; no se inspeccionaron flujos de automatización externos.
Main entry points: spider_function.py Orquestador Scrapy · settings.py Configuración Scrapy · funcionarios_spider.py Descubrimiento de páginas · main.py Ejecución local
Components 10
Ejecución
- Ejecución local
main.py - Orquestador Scrapy
src/funcionarios_publicos/high_level/spider_function.py - Configuración Scrapy
src/funcionarios_publicos/core/settings.py
Extracción
- Descubrimiento de páginas
src/funcionarios_publicos/core/funcionarios_spider.py - Extracción de perfiles
src/funcionarios_publicos/core/funcionarios_spider.py
Procesamiento y salida
- Normalización de fechas
src/funcionarios_publicos/core/pipelines.py - Exportador CSV
src/funcionarios_publicos/core/exporters.py - CSV históricos
data
Other components
- Usuario
- Directorio Gob.pe
Connections 10
- Usuario → Ejecución local: ejecuta
README.md - Ejecución local → Orquestador Scrapy: invoca
main.py - Orquestador Scrapy → Configuración Scrapy: carga configuración
src/funcionarios_publicos/high_level/spider_function.py - Orquestador Scrapy → Descubrimiento de páginas: inicia crawl
src/funcionarios_publicos/high_level/spider_function.py - Descubrimiento de páginas → Directorio Gob.pe: solicita páginas
src/funcionarios_publicos/core/funcionarios_spider.py - Descubrimiento de páginas → Extracción de perfiles: sigue enlaces
src/funcionarios_publicos/core/funcionarios_spider.py - Extracción de perfiles → Directorio Gob.pe: solicita perfiles
src/funcionarios_publicos/core/funcionarios_spider.py - Configuración Scrapy → Normalización de fechas: activa pipeline
src/funcionarios_publicos/core/settings.py - Configuración Scrapy → Exportador CSV: registra exportador
src/funcionarios_publicos/core/settings.py - Orquestador Scrapy → CSV históricos: escribe CSV
src/funcionarios_publicos/high_level/spider_function.py