How serigne2/aeroetl works
Pour concevoir un diagramme d’architecture qui reflète précisément la structure et la logique de ce projet ETL avec Airflow et AWS, voici comment procéder et les points clés à inclure :
Identifier le type de projet et sa finalité
• Le projet est un pipeline ETL orienté vers la collecte, transformation et chargement de données météo. Il exploite l’API OpenWeatherMap pour extraire les données, réalise des transformations (conversion de températures, classification, structuration) et charge ensuite ces données dans deux destinations AWS : S3 (pour l’archivage des fichiers JSON) et RDS PostgreSQL (pour l’analyse et interrogation).
• Airflow est utilisé pour orchestrer l’ensemble du pipeline, exécutant les étapes de façon séquentielle.
Analyser la structure de fichiers
• Le dossier « airflow_dags » contient le fichier du DAG (weather_data_pipeline.py) qui orchestre le pipeline ETL.
• Le dossier « job_scripts » regroupe les scripts dédiés aux différentes étapes du pipeline :
• data_extraction.py : Extraction des données depuis l’API OpenWeatherMap
• data_transformation.py : Transformation des données brutes
• data_loading.py : Chargement des données sur AWS S3 et AWS RDS
• Le README et, dans la documentation, il est mentionné un dossier « config » (même s’il n’apparaît pas dans le file tree fourni, il est bien documenté dans le README) qui abrite le fichier de configuration (config.yaml) destiné à la gestion des clés et paramètres pour l’API et AWS.
Principaux composants à représenter dans le diagramme
a. Composants principaux :
• Le pipeline orchestré par Apache Airflow (représenté par le DAG dans airflow_dags/weather_data_pipeline.py)
• Les modules ETL répartis en trois tâches :
• Extraction (job_scripts/data_extraction.py)
• Transformation (job_scripts/data_transformation.py)
• Chargement (job_scripts/data_loading.py)
• Services externes et destinations :
• OpenWeatherMap API (source externe de données météo)
• AWS S3 (stockage des fichiers JSON)
• AWS RDS (base de données PostgreSQL pour interroger les données)
b. Interactions et flux de données :
• L’Airflow DAG orchestre l’exécution séquentielle – une flèche allant de l’extraction vers la transformation, puis vers le chargement.
• Pendant l’extraction, le script se connecte à OpenWeatherMap pour récupérer les données.
• La transformation est appliquée aux données extraites pour les nettoyer et les formater.
• La tâche de chargement distribue les données transformées vers AWS S3 et insère les enregistrements dans AWS RDS.
c. Patrons et principes architecturaux :
• Pattern ETL classique (Extract, Transform, Load) géré par un orchestrateur (Apache Airflow).
• Séparation claire des responsabilités entre chaque module (extraction, transformation, chargement) favorisant la modularité et la maintenabilité.
• Utilisation de variables d’environnement et d’un fichier de configuration (config.yaml) pour rendre les paramètres dynamiques et sécurisés.
d. Technologies et frameworks :
• Python pour le développement des scripts.
• Apache Airflow pour l’orchestration des tâches ETL.
• Services AWS (S3 pour le stockage de fichiers JSON, RDS pour PostgreSQL qui sert de base relationnelle).
• OpenWeatherMap API comme source de données.
Conseils pour adapter le diagramme à ce projet ETL
• Séparez clairement les composants backend liés à l’exécution du pipeline :
• Le DAG Airflow central qui connecte les jobs ETL.
• Les modules individuels de job_scripts représentant les fonctions d’extraction, transformation et chargement.
• Ajoutez également les composants d’infrastructure externe tels que la source de données (API OpenWeatherMap) et les cibles de chargement (AWS S3 et RDS).
• Intégrez une note sur la configuration via le dossier « config » et les variables d’environnement dans Airflow qui garantissent la bonne connexion aux services externes.
Éléments à inclure dans le diagramme pour le rendre exhaustif
• Des étiquettes claires pour chaque composant (exemple : « Extraction – data_extraction.py », « Transformation – data_transformation.py », « Chargement – data_loading.py », « Orchestration – Airflow DAG »).
• Des flèches directionnelles illustrant le flux de données et la séquence d’exécution (Extraction → Transformation → Chargement).
• Une différenciation visuelle (par couleur ou forme) pour :
• Les modules internes (scripts ETL et Airflow DAG)
• Les interactions avec des services externes (API OpenWeatherMap, AWS S3, AWS RDS)
• Un bloc ou une annotation pour la configuration (config.yaml et variables d’environnement), soulignant son rôle dans la sécurisation des clés et la mise en oeuvre des connexions.