# marcanogc/etlprojectapiextract architecture

> Architecture diagram of the GitHub repository marcanogc/etlprojectapiextract, generated by GitDiagram from its file tree, README and a sample of source files (last updated 2025-03-28). It is an AI-made overview: check details against the source.

- Interactive diagram: https://gitdiagram.com/marcanogc/etlprojectapiextract
- Repository: https://github.com/marcanogc/etlprojectapiextract

## Overview

O projeto é um pipeline de dados ETL com dashboard, desenvolvido em Python, que extrai informações da API da Coinbase para coletar o preço da Bitcoin, transforma os dados e os carrega em uma base de dados (PostgreSQL). Em seguida, o dashboard (usando Streamlit) permite visualizar estes dados. Com base na estrutura do arquivo e na descrição do README, siga os pontos abaixo para desenhar um diagrama de arquitetura que represente com clareza o fluxo e os componentes do sistema:

##### Identifique as principais áreas e componentes
- Pipeline ETL (extração, transformação e carga):
- Extração: Módulos (funções) que consomem a API da Coinbase (ex.: método extrair_dados_bitcoin() no pipeline).
- Transformação: Processamento dos dados brutos com conversão para valores numéricos, timestamp e uso de Pandas.
- Carga: Através do SQLAlchemy e do modelo definido em database.py, os dados são inseridos no banco PostgreSQL.
- Dashboard:
- Os scripts em app/ (dashboard_00.py, dashboard_01.py) servem para exibir graficamente os dados processados.
- Banco de Dados:
- O PostgreSQL (pode estar rodando via contêiner Docker, Azure ou Render) que armazena as informações dos preços.
- Outras funcionalidades e exemplos:
- Arquivos como exemplo_api_compare.py e exemplo_selenium_compare.py demonstram a comparação entre abordagens de requisição (Selenium vs. requests), mas não fazem parte direta do fluxo ETL principal.
- Infraestrutura e deployment:
- Existem múltiplos arquivos requirements.txt (em app e src) que indicam dependências específicas para partes do projeto.
- O README detalha as configurações do .env para conexão com o PostgreSQL e a implantação do banco de dados na Render ou Azure.

##### Mapeie as interações e fluxos
- Comece com um “bloco” de Agendamento/Loop: Representar a execução contínua (a cada 15 segundos) do pipeline ETL.
- Do Agendamento, um fluxo de dados parte para o componente “Extração”, identificado pela chamada à API da Coinbase via a biblioteca requests.
- Em seguida, o fluxo passa para “Transformação”, onde os dados são tratados (conversão do valor da Bitcoin, adição de timestamp, etc.).
- Após a transformação, represente a “Carga” – inserção dos dados no banco de dados PostgreSQL, via SQLAlchemy e a sessão definida.
- Uma linha separada ou um “ponto de visualização” deve ilustrar a extração dos dados para o dashboard (scripts na pasta app) que consome os dados do banco e os apresenta em uma interface interativa com Streamlit.

##### Destaque os padrões e tecnologias
- Explique que o projeto adota uma arquitetura modular, onde cada etapa do ETL (Ex, T, L) está encapsulada em funções ou scripts separados.
- Use uma notação que separe claramente os “blocos” lógicos (por exemplo: ETL Pipeline, Camada de Persistência/Database, e Interface/Dashboard).
- Identifique as bibliotecas principais: requests, pandas, sqlalchemy, streamlit.
- Se aplicável, destaque a utilização de variáveis de ambiente para configurações de banco de dados (.env).

##### Diretrizes de desenho do diagrama
- Utilize caixas (retângulos) para cada componente principal:
- Caixa “API Coinbase” mostrando que gera dados (entrada para o pipeline).
- Caixa “Pipeline ETL” subdividida em Extração, Transformação e Carga.
- Caixa “PostgreSQL” para o armazenamento dos dados. Pode ser representada com o ícone de banco de dados.
- Caixa “Dashboard (Streamlit)” para a camada de visualização.
- Conecte as caixas com setas direcionais:
- Do “Agendamento / Script Principal” (ou Pipeline Loop) para “API Coinbase”.
- Do “API” para “Extração” e depois para “Transformação”, seguido pela “Carga no PostgreSQL”.
- Uma seta reta (ou fluxo de dados) pode ligar o “PostgreSQL” ao “Dashboard”.
- Use cores ou diferentes formas para diferenciar entre:
- Processos backend (pipeline ETL e integração com a API).
- Armazenamento (banco de dados).
- Apresentação (dashboard via Streamlit).
- Adicione rótulos claros a cada componente e anote brevemente a função (por exemplo: “Extrai dados JSON”, “Transforma para formato tabular”, “Insere dados com SQLAlchemy”).

##### Adapte a ênfase do diagrama ao propósito do projeto
- Por ser um projeto orientado a dados e ETL, o diagrama deve enfatizar a sequência sequencial – da coleta até a visualização – mostrando como os dados fluem e são processados.
- Para os desenvolvedores, incluir legendas ou notas que indiquem a periodicidade das execuções (ex.: “Execução a cada 15 segundos”, “Loop de atualização”).
- Se desejar, inclua também uma seção de “Comparação de abordagens” para ilustrar onde exemplos com Selenium e requests são demonstrados, mesmo que estas partes sejam secundárias ao fluxo principal do ETL.

##### Elementos obrigatórios no diagrama
- Cada componente principal com um label descritivo.
- Setas direcionais que indicam o fluxo: extração de dados → transformação → carregamento → visualização.
- Indicação das tecnologias usadas (por exemplo: “Requests, Pandas, SQLAlchemy, Streamlit, PostgreSQL”).
- Possivelmente, distinção visual (cores ou formas) entre lógica de processamento, banco de dados e UI.
- Inclusão de uma “caixa” ou nota para a infraestrutura de deployment (ex.: “Azure/Render – Servidor PostgreSQL” e “Docker para containerização” se aplicável).

Seguindo estas diretrizes, o diagrama resultante mostrará de forma clara toda a arquitetura do sistema e os passos lógicos do ETL, facilitando o entendimento para os membros da equipe técnica ou outros stakeholders. Não hesite em adicionar detalhes extras (como blocos para a configuração do ambiente com .env e os diferentes pipelines disponíveis em src) para garantir que cada aspecto importante esteja devidamente representado.

Boa sorte e mãos à obra na criação do diagrama de arquitetura!

## Diagram (Mermaid)

```mermaid
flowchart TD
    Scheduler["Scheduler (15s Loop)"]:::scheduler
    API["API Coinbase\n(Gera dados)"]:::backend
    ETL["ETL Pipeline"]:::backend
    Extraction["Extração\n(Consome API via requests)"]:::backend
    Transformation["Transformação\n(Processa com Pandas)"]:::backend
    Load["Carga\n(Insert via SQLAlchemy)"]:::backend
    DB["PostgreSQL\n(Database)"]:::db
    Dashboard["Dashboard (Streamlit)"]:::dashboard
    Dashboard00["Dashboard 00"]:::dashboard
    Dashboard01["Dashboard 01"]:::dashboard

    subgraph "Recursos Auxiliares"
        ExAPI["Exemplo API Compare"]:::external
        ExSelenium["Exemplo Selenium Compare"]:::external
        DepRoot["Dependências (Root)"]:::external
        DepApp["Dependências (App)"]:::external
        DepSrc["Dependências (Src)"]:::external
    end

    Scheduler -->|"triggers"| API
    API -->|"enviaDados"| ETL
    ETL -->|"executaExtração"| Extraction
    Extraction -->|"passaDados"| Transformation
    Transformation -->|"preparaDados"| Load
    Load -->|"insereDados"| DB
    DB -->|"consultaDados"| Dashboard
    Dashboard -->|"exibe"| Dashboard00
    Dashboard -->|"exibe"| Dashboard01

    ETL ---|"abordagens-e-deps"| ExAPI
    ExAPI -->|"demonstra"| ExSelenium
    ExSelenium -->|"usa"| DepRoot
    DepRoot -->|"refinada"| DepApp
    DepApp -->|"integrada"| DepSrc

    classDef scheduler fill:#ffcccb,stroke:#000,stroke-width:2px;
    classDef backend fill:#f5f5dc,stroke:#000,stroke-width:2px;
    classDef db fill:#ADD8E6,stroke:#000,stroke-width:2px;
    classDef dashboard fill:#90EE90,stroke:#000,stroke-width:2px;
    classDef external fill:#D3D3D3,stroke:#000,stroke-width:2px;

    click ETL "https://github.com/marcanogc/etlprojectapiextract/tree/main/src"
    click Load "https://github.com/marcanogc/etlprojectapiextract/blob/main/src/database.py"
    click Dashboard00 "https://github.com/marcanogc/etlprojectapiextract/blob/main/app/dashboard_00.py"
    click Dashboard01 "https://github.com/marcanogc/etlprojectapiextract/blob/main/app/dashboard_01.py"
    click ExAPI "https://github.com/marcanogc/etlprojectapiextract/blob/main/exemplo_api_compare.py"
    click ExSelenium "https://github.com/marcanogc/etlprojectapiextract/blob/main/exemplo_selenium_compare.py"
    click DepRoot "https://github.com/marcanogc/etlprojectapiextract/blob/main/requirements.txt"
    click DepApp "https://github.com/marcanogc/etlprojectapiextract/blob/main/app/requirements.txt"
    click DepSrc "https://github.com/marcanogc/etlprojectapiextract/blob/main/src/requirements.txt"
```
