How fsegurado/pdm_ballon-dor-hybrid-pipeline-gcp works
O produto é um preditor Ballon d’Or híbrido: temporadas encerradas entram por batch e a temporada ativa por streaming; os dados convergem no BigQuery para features e predições, e o modelo exportado é servido por uma API. O README documenta os principais componentes batch e SQL; as ligações internas do streaming e da API também aparecem nos trechos de código. O crawler e alguns passos de batch são descritos, mas não foram inspecionados além do README e dos trechos disponíveis.
Main entry points: streaming_pipeline.py Pipeline Beam · 06_gold_hibrida.sql Features e ranking · run_job.py Publicador agendado · notebooks_t1 Silver batch
Components 22
Coleta e publicação
- Crawler FBref
producer/crawlerlimpezaalemacompleto_corrigido.py - Snapshot CSV
- Cloud Scheduler
- Publicador agendado
job/run_job.py - Pub/Sub
- Publicador replay
producer/publisher.py
Processamento streaming
- Pipeline Beam
pipeline/streaming_pipeline.py - Regras comuns
ballon_common/preprocessing.py - Bronze streaming
sql/01_tables.sql - Silver streaming
sql/01_tables.sql - Dead-letter
sql/01_tables.sql - Views streaming
sql/02_views.sql
Batch e analytics
- Batch histórico
notebooks_t1 - Carga batch 2025–26
sql/05_batch_2526.sql - Silver batch
notebooks_t1 - View híbrida
sql/04_hybrid_view.sql - Features e ranking
sql/06_gold_hibrida.sql - Predições batch
sql/07_top30_2026.sql
Modelo e inferência
- Exportação modelo
sql/08_export_modelo.sql - Vertex AI Registry
- API REST
api/main.py
Other components
- Cliente HTTP
Connections 21
- Crawler FBref → Snapshot CSV: grava snapshot
README.md - Cloud Scheduler → Publicador agendado: dispara diariamente
README.md - Snapshot CSV → Publicador agendado: lê snapshot
job/run_job.py - Publicador agendado → Pub/Sub: publica eventos
job/run_job.py - Publicador replay → Pub/Sub: publica eventos
producer/publisher.py - Pub/Sub → Pipeline Beam: entrega mensagens
pipeline/streaming_pipeline.py - Pipeline Beam → Regras comuns: aplica parse
pipeline/streaming_pipeline.py - Pipeline Beam → Bronze streaming: grava eventos brutos
README.md - Pipeline Beam → Silver streaming: grava válidos
README.md - Pipeline Beam → Dead-letter: grava inválidos
README.md - Silver streaming → Views streaming: alimenta views
README.md - Batch histórico → Silver batch: produz Silver
README.md - Carga batch 2025–26 → Silver batch: atualiza histórico
README.md - Views streaming → View híbrida: integra streaming
README.md - Silver batch → View híbrida: integra batch
README.md - View híbrida → Features e ranking: alimenta procedure
README.md - Features e ranking → Predições batch: gera rankings
README.md - Features e ranking → Exportação modelo: exporta modelo
README.md - Exportação modelo → Vertex AI Registry: registra artefato
README.md - Vertex AI Registry → API REST: fornece modelo
api/main.py - Cliente HTTP → API REST: envia requisição
README.md