How marcanogc/etlprojectapiextract works
O projeto é um pipeline de dados ETL com dashboard, desenvolvido em Python, que extrai informações da API da Coinbase para coletar o preço da Bitcoin, transforma os dados e os carrega em uma base de dados (PostgreSQL). Em seguida, o dashboard (usando Streamlit) permite visualizar estes dados. Com base na estrutura do arquivo e na descrição do README, siga os pontos abaixo para desenhar um diagrama de arquitetura que represente com clareza o fluxo e os componentes do sistema:
Identifique as principais áreas e componentes
• Pipeline ETL (extração, transformação e carga):
• Extração: Módulos (funções) que consomem a API da Coinbase (ex.: método extrair_dados_bitcoin() no pipeline).
• Transformação: Processamento dos dados brutos com conversão para valores numéricos, timestamp e uso de Pandas.
• Carga: Através do SQLAlchemy e do modelo definido em database.py, os dados são inseridos no banco PostgreSQL.
• Dashboard:
• Os scripts em app/ (dashboard_00.py, dashboard_01.py) servem para exibir graficamente os dados processados.
• Banco de Dados:
• O PostgreSQL (pode estar rodando via contêiner Docker, Azure ou Render) que armazena as informações dos preços.
• Outras funcionalidades e exemplos:
• Arquivos como exemplo_api_compare.py e exemplo_selenium_compare.py demonstram a comparação entre abordagens de requisição (Selenium vs. requests), mas não fazem parte direta do fluxo ETL principal.
• Infraestrutura e deployment:
• Existem múltiplos arquivos requirements.txt (em app e src) que indicam dependências específicas para partes do projeto.
• O README detalha as configurações do .env para conexão com o PostgreSQL e a implantação do banco de dados na Render ou Azure.
Mapeie as interações e fluxos
• Comece com um “bloco” de Agendamento/Loop: Representar a execução contínua (a cada 15 segundos) do pipeline ETL.
• Do Agendamento, um fluxo de dados parte para o componente “Extração”, identificado pela chamada à API da Coinbase via a biblioteca requests.
• Em seguida, o fluxo passa para “Transformação”, onde os dados são tratados (conversão do valor da Bitcoin, adição de timestamp, etc.).
• Após a transformação, represente a “Carga” – inserção dos dados no banco de dados PostgreSQL, via SQLAlchemy e a sessão definida.
• Uma linha separada ou um “ponto de visualização” deve ilustrar a extração dos dados para o dashboard (scripts na pasta app) que consome os dados do banco e os apresenta em uma interface interativa com Streamlit.
Destaque os padrões e tecnologias
• Explique que o projeto adota uma arquitetura modular, onde cada etapa do ETL (Ex, T, L) está encapsulada em funções ou scripts separados.
• Use uma notação que separe claramente os “blocos” lógicos (por exemplo: ETL Pipeline, Camada de Persistência/Database, e Interface/Dashboard).
• Identifique as bibliotecas principais: requests, pandas, sqlalchemy, streamlit.
• Se aplicável, destaque a utilização de variáveis de ambiente para configurações de banco de dados (.env).
Diretrizes de desenho do diagrama
• Utilize caixas (retângulos) para cada componente principal:
• Caixa “API Coinbase” mostrando que gera dados (entrada para o pipeline).
• Caixa “Pipeline ETL” subdividida em Extração, Transformação e Carga.
• Caixa “PostgreSQL” para o armazenamento dos dados. Pode ser representada com o ícone de banco de dados.
• Caixa “Dashboard (Streamlit)” para a camada de visualização.
• Conecte as caixas com setas direcionais:
• Do “Agendamento / Script Principal” (ou Pipeline Loop) para “API Coinbase”.
• Do “API” para “Extração” e depois para “Transformação”, seguido pela “Carga no PostgreSQL”.
• Uma seta reta (ou fluxo de dados) pode ligar o “PostgreSQL” ao “Dashboard”.
• Use cores ou diferentes formas para diferenciar entre:
• Processos backend (pipeline ETL e integração com a API).
• Armazenamento (banco de dados).
• Apresentação (dashboard via Streamlit).
• Adicione rótulos claros a cada componente e anote brevemente a função (por exemplo: “Extrai dados JSON”, “Transforma para formato tabular”, “Insere dados com SQLAlchemy”).
Adapte a ênfase do diagrama ao propósito do projeto
• Por ser um projeto orientado a dados e ETL, o diagrama deve enfatizar a sequência sequencial – da coleta até a visualização – mostrando como os dados fluem e são processados.
• Para os desenvolvedores, incluir legendas ou notas que indiquem a periodicidade das execuções (ex.: “Execução a cada 15 segundos”, “Loop de atualização”).
• Se desejar, inclua também uma seção de “Comparação de abordagens” para ilustrar onde exemplos com Selenium e requests são demonstrados, mesmo que estas partes sejam secundárias ao fluxo principal do ETL.
Elementos obrigatórios no diagrama
• Cada componente principal com um label descritivo.
• Setas direcionais que indicam o fluxo: extração de dados → transformação → carregamento → visualização.
• Indicação das tecnologias usadas (por exemplo: “Requests, Pandas, SQLAlchemy, Streamlit, PostgreSQL”).
• Possivelmente, distinção visual (cores ou formas) entre lógica de processamento, banco de dados e UI.
• Inclusão de uma “caixa” ou nota para a infraestrutura de deployment (ex.: “Azure/Render – Servidor PostgreSQL” e “Docker para containerização” se aplicável).
Seguindo estas diretrizes, o diagrama resultante mostrará de forma clara toda a arquitetura do sistema e os passos lógicos do ETL, facilitando o entendimento para os membros da equipe técnica ou outros stakeholders. Não hesite em adicionar detalhes extras (como blocos para a configuração do ambiente com .env e os diferentes pipelines disponíveis em src) para garantir que cada aspecto importante esteja devidamente representado.
Boa sorte e mãos à obra na criação do diagrama de arquitetura!