How govhub-br/gov-hub works
gov-bricks é um framework compartilhado de dados públicos, com código de projetos consumidores no mesmo monorepo. O fluxo principal agenda ingestões de APIs e outras fontes para a landing zone; transformações dbt organizam os dados em camadas bronze, silver e gold; publicação e relatórios disponibilizam produtos via Superset. O catálogo e os scripts de modelagem e publicação sustentam cruzamentos declarativos e planos de acesso. As conexões de ingestão e armazenamento são apoiadas pelos trechos examinados; transformações e capacidades descritas apenas no README aparecem sem detalhes de implementação.
Main entry points: landing_zone.py Landing zone · compras_gov Ingestão Compras.gov · orgao_contratante_ingest_dag.py Ingestão Contratos.gov · mgi_transform_dag.py DAG transformação MGI
Components 18
Ingestão
- Ingestão Compras.gov
airflow/dags/data_ingest/compras_gov - Ingestão Contratos.gov
airflow/dags/data_ingest/contratos_gov/orgao_contratante_ingest_dag.py - Cliente Compras.gov
airflow/plugins/cliente_compras_gov.py - Cliente Contratos.gov
airflow/plugins/cliente_contratos_gov.py - Landing zone
airflow/helpers/landing_zone.py - Cliente storage
airflow/plugins/cliente_storage.py
Dados e transformação
- Object storage
- DAG transformação MGI
airflow/dags/data_transform/mgi/mgi_transform_dag.py - Modelos dbt
Modelagem e catálogo
- Gerador e mapa
scripts/modelagem - Validação e acesso
scripts/publicacao - Catálogo de sistemas
Publicação e consumo
- Relatórios MGI
airflow/dags/data_report/mgi/contratacoes_mgi_report_dag.py - Publicação MGI
airflow/dags/data_publish/mgi/mgi_publish_dag.py - Cliente Superset
airflow/plugins/cliente_superset.py - Apache Superset
Other components
- Fontes públicas
- Órgãos consumidores
Connections 19
- Fontes públicas → Cliente Compras.gov: fornecem dados
- Fontes públicas → Cliente Contratos.gov: fornecem dados
- Ingestão Compras.gov → Cliente Compras.gov: consulta API
- Ingestão Contratos.gov → Cliente Contratos.gov: consulta API
- Ingestão Compras.gov → Landing zone: grava dados brutos
- Ingestão Contratos.gov → Landing zone: grava dados brutos
- Landing zone → Cliente storage: usa filesystem
- Cliente storage → Object storage: lê e grava
- DAG transformação MGI → Object storage: lê bronze
- DAG transformação MGI → Modelos dbt: executa modelos
- Modelos dbt → Object storage: materializa camadas
- Catálogo de sistemas → Gerador e mapa: orienta cruzamentos
- Gerador e mapa → Modelos dbt: gera modelos
- Catálogo de sistemas → Validação e acesso: define publicações
- Validação e acesso → Publicação MGI: valida acesso
- Publicação MGI → Cliente Superset: configura publicação
- Cliente Superset → Apache Superset: importa bundle e permissões
- Relatórios MGI → Órgãos consumidores: entrega relatórios
- Órgãos consumidores → Apache Superset: consomem dashboards