How vbluuiza/pipeline_etl_weather_data_tutorial_youtube works
Este repositório implementa um pipeline horário de dados meteorológicos de São Paulo: a DAG do Airflow dispara extração, transformação e carga. A extração consulta o OpenWeatherMap e grava JSON; a transformação estrutura os dados e a DAG os transfere por Parquet para a carga no PostgreSQL. O README também descreve análise exploratória, mas o notebook não foi amostrado; por isso, essa capacidade não é detalhada. As ligações abaixo refletem chamadas e transferências documentadas ou visíveis nos trechos.
Main entry points: weather_dag.py DAG meteorológica · extract_data.py Extração meteorológica · transform_data.py Transformação · load_data.py Carga meteorológica
Components 10
Orquestração
- Airflow
- DAG meteorológica
dags/weather_dag.py
Etapas ETL
- Extração meteorológica
src/extract_data.py - JSON bruto
src/extract_data.py - Transformação
src/transform_data.py - Parquet intermediário
dags/weather_dag.py
Armazenamento
- Carga meteorológica
src/load_data.py - PostgreSQL
Other components
- OpenWeatherMap
- Análise exploratória
notebooks/analysis_data.ipynb
Connections 9
- Airflow → DAG meteorológica: aciona DAG
README.md - DAG meteorológica → Extração meteorológica: chama extração
dags/weather_dag.py - Extração meteorológica → OpenWeatherMap: consulta clima
README.md - Extração meteorológica → JSON bruto: grava JSON
src/extract_data.py - DAG meteorológica → Transformação: chama transformação
dags/weather_dag.py - Transformação → JSON bruto: lê JSON
README.md - DAG meteorológica → Parquet intermediário: grava e lê
dags/weather_dag.py - DAG meteorológica → Carga meteorológica: chama carga
dags/weather_dag.py - Carga meteorológica → PostgreSQL: insere e consulta
src/load_data.py