How isabel6198/weather-data-platform works
Weather Data Platform collecte les observations d’Open-Meteo, les écrit dans PostgreSQL, puis Airflow orchestre les contrôles et les transformations dbt. Les transformations produisent des faits horaires, un mart quotidien et une dimension de villes historisée. Le graphe suit les étapes et capacités explicitement documentées ; les détails internes des modèles dbt non échantillonnés sont limités à ce que précise le README.
Main entry points: weather_pipeline.py Pipeline météo · fct_weather_hourly.sql Faits horaires · int_weather_enriched.sql Enrichissement météo · city_metadata_snapshot.sql Snapshot villes
Components 16
Orchestration Airflow
- Pipeline météo
airflow/dags/weather_pipeline.py - Fraîcheur source
airflow/dags/weather_pipeline.py - Build dbt
airflow/dags/weather_pipeline.py - Callback échec
airflow/dags/weather_pipeline.py
Stockage brut
- PostgreSQL raw
Transformations dbt
- Staging météo
dbt/models/staging/stg_weather_snapshots.sql - Enrichissement météo
dbt/models/intermediate/int_weather_enriched.sql - Macro météo
dbt/macros/weather_condition.sql - Faits horaires
dbt/models/marts/fct_weather_hourly.sql - Mart quotidien
dbt/models/marts/mart_weather_daily.sql - Snapshot villes
dbt/snapshots/city_metadata_snapshot.sql - Dimension villes
dbt/models/marts/dim_city_current.sql
Qualité et documentation
- Contrôle raw
airflow/dags/weather_pipeline.py - Tests qualité
dbt/tests - Docs et lineage
dbt
Other components
- Open-Meteo
Connections 21
- Open-Meteo → Pipeline météo: fournit observations
README.md - Pipeline météo → PostgreSQL raw: ingère données
airflow/dags/weather_pipeline.py - Pipeline météo → Contrôle raw: valide raw
airflow/dags/weather_pipeline.py - Pipeline météo → Fraîcheur source: lance fraîcheur
README.md - Pipeline météo → Build dbt: lance build
README.md - Pipeline météo → Callback échec: signale échec
airflow/dags/weather_pipeline.py - PostgreSQL raw → Staging météo: alimente source
README.md - Staging météo → Enrichissement météo: alimente
README.md - Macro météo → Enrichissement météo: normalise codes
README.md - Enrichissement météo → Faits horaires: alimente
README.md - Faits horaires → Mart quotidien: agrège par jour
README.md - PostgreSQL raw → Snapshot villes: historise métadonnées
README.md - Snapshot villes → Dimension villes: alimente version courante
README.md - Build dbt → Tests qualité: exécute tests
README.md - Build dbt → Faits horaires: produit modèles
README.md - Build dbt → Mart quotidien: produit modèles
README.md - Build dbt → Snapshot villes: exécute snapshot
README.md - Build dbt → Dimension villes: produit modèle
README.md - Build dbt → Docs et lineage: documente lineage
README.md - Pipeline météo → Faits horaires: contrôle résultat
airflow/dags/weather_pipeline.py - Pipeline météo → Mart quotidien: contrôle résultat
airflow/dags/weather_pipeline.py