# egor951769794/drom-datapipeline architecture

> Architecture diagram of the GitHub repository egor951769794/drom-datapipeline, generated by GitDiagram from its file tree, README and a sample of source files (last updated 2026-10-03). It is an AI-made overview: check details against the source.

- Interactive diagram: https://gitdiagram.com/egor951769794/drom-datapipeline
- Repository: https://github.com/egor951769794/drom-datapipeline

## Overview

Это ETL/ELT-пайплайн объявлений автомобилей с Drom.ru: пользователь запускает сбор для региона и режима, скрапер извлекает и нормализует объявления и изображения, а далее данные проходят через Kafka в Datalake и DWH для аналитики в Superset. Граф сохраняет отдельные этапы подготовки, преобразования и загрузки. Потоки Kafka и PostgreSQL подтверждены показанным кодом; связи для MinIO, Spark и аналитики опираются на описание в README, поскольку их runtime-код не был показан.

Main entry points: [`data-extraction/bulletin_scraper.py`](https://github.com/egor951769794/drom-datapipeline/blob/main/data-extraction/bulletin_scraper.py) (Скрапер), [`data-extraction/bulletin_parser.py`](https://github.com/egor951769794/drom-datapipeline/blob/main/data-extraction/bulletin_parser.py) (Парсер объявлений), [`postgres-datawarehouse/docker-entrypoint-initdb.d/01-init_db.sql`](https://github.com/egor951769794/drom-datapipeline/blob/main/postgres-datawarehouse/docker-entrypoint-initdb.d/01-init_db.sql) (PostgreSQL DWH), [`data-extraction/main.py`](https://github.com/egor951769794/drom-datapipeline/blob/main/data-extraction/main.py) (CLI запуск)

## Diagram (Mermaid)

```mermaid
flowchart TD

subgraph group_ingestion["Сбор объявлений"]
  node_entry["CLI запуск<br/>[main.py]"]
  node_scraper["Скрапер"]
  node_parser["Парсер объявлений<br/>[bulletin_parser.py]"]
  node_request["HTTP запросы<br/>[request_module.py]"]
  node_record["Подготовка записи"]
  node_details["Данные объявления"]
  node_image_tools["Загрузка и ID изображений"]
end

subgraph group_streaming["Обработка и доставка"]
  node_kafka["Kafka"]
  node_spark["Потоковые преобразования"]
  node_lake_consumer["Потребитель Datalake<br/>[main.py]"]
  node_warehouse_consumer["Потребитель DWH<br/>[main.py]"]
end

subgraph group_storage["Хранение данных"]
  node_minio[("MinIO Datalake")]
  node_postgres[("PostgreSQL DWH<br/>[01-init_db.sql]")]
  node_star_schema["Star Schema<br/>[01-init_db.sql]"]
end

subgraph group_analytics["Аналитика"]
  node_superset["Superset<br/>[superset_config.py]"]
end

node_operator(("Оператор"))
node_drom(("Drom.ru"))

node_operator -->|"запускает"| node_entry
node_entry -->|"создаёт"| node_parser
node_entry -->|"запускает"| node_scraper
node_scraper -->|"вызывает разбор"| node_parser
node_parser -->|"делает запросы"| node_request
node_scraper -->|"запрашивает страницы"| node_drom
node_parser -.->|"формирует данные"| node_record
node_record -->|"получает детали"| node_details
node_record -->|"обрабатывает изображения"| node_image_tools
node_scraper -->|"публикует сообщения"| node_kafka
node_kafka -.->|"передаёт события"| node_lake_consumer
node_kafka -->|"передаёт события"| node_warehouse_consumer
node_kafka -.->|"подаёт поток"| node_spark
node_spark -.->|"загружает преобразованные данные"| node_postgres
node_lake_consumer -.->|"сохраняет данные"| node_minio
node_warehouse_consumer -->|"записывает записи"| node_postgres
node_postgres -->|"содержит"| node_star_schema
node_postgres -.->|"предоставляет данные"| node_superset

click node_entry "https://github.com/egor951769794/drom-datapipeline/blob/main/data-extraction/main.py"
click node_scraper "https://github.com/egor951769794/drom-datapipeline/blob/main/data-extraction/bulletin_scraper.py"
click node_parser "https://github.com/egor951769794/drom-datapipeline/blob/main/data-extraction/bulletin_parser.py"
click node_request "https://github.com/egor951769794/drom-datapipeline/blob/main/data-extraction/request_module.py"
click node_record "https://github.com/egor951769794/drom-datapipeline/blob/main/data-extraction/create_bull_json.py"
click node_details "https://github.com/egor951769794/drom-datapipeline/blob/main/data-extraction/get_additional_bull_info.py"
click node_image_tools "https://github.com/egor951769794/drom-datapipeline/tree/main/data-extraction/misc"
click node_spark "https://github.com/egor951769794/drom-datapipeline/blob/main/pyspark-transforms/spark_schema_creator.py"
click node_lake_consumer "https://github.com/egor951769794/drom-datapipeline/blob/main/minio-datalake/kafka-consumer/main.py"
click node_warehouse_consumer "https://github.com/egor951769794/drom-datapipeline/blob/main/postgres-datawarehouse/kafka-consumer/main.py"
click node_postgres "https://github.com/egor951769794/drom-datapipeline/blob/main/postgres-datawarehouse/docker-entrypoint-initdb.d/01-init_db.sql"
click node_star_schema "https://github.com/egor951769794/drom-datapipeline/blob/main/postgres-datawarehouse/docker-entrypoint-initdb.d/01-init_db.sql"
click node_superset "https://github.com/egor951769794/drom-datapipeline/blob/main/superset/superset_config.py"

classDef toneNeutral fill:#f8fafc,stroke:#334155,stroke-width:1.5px,color:#0f172a
classDef toneBlue fill:#dbeafe,stroke:#2563eb,stroke-width:1.5px,color:#172554
classDef toneAmber fill:#fef3c7,stroke:#d97706,stroke-width:1.5px,color:#78350f
classDef toneMint fill:#dcfce7,stroke:#16a34a,stroke-width:1.5px,color:#14532d
classDef toneRose fill:#ffe4e6,stroke:#e11d48,stroke-width:1.5px,color:#881337
classDef toneIndigo fill:#e0e7ff,stroke:#4f46e5,stroke-width:1.5px,color:#312e81
classDef toneTeal fill:#ccfbf1,stroke:#0f766e,stroke-width:1.5px,color:#134e4a
class node_entry,node_scraper,node_parser,node_request,node_record,node_details,node_image_tools toneBlue
class node_kafka,node_spark,node_lake_consumer,node_warehouse_consumer toneAmber
class node_minio,node_postgres,node_star_schema toneMint
class node_superset toneRose
class node_operator,node_drom toneIndigo
```

## Components

### Сбор объявлений

- [CLI запуск](https://github.com/egor951769794/drom-datapipeline/blob/main/data-extraction/main.py): `data-extraction/main.py`
- [Скрапер](https://github.com/egor951769794/drom-datapipeline/blob/main/data-extraction/bulletin_scraper.py): `data-extraction/bulletin_scraper.py`
- [Парсер объявлений](https://github.com/egor951769794/drom-datapipeline/blob/main/data-extraction/bulletin_parser.py): `data-extraction/bulletin_parser.py`
- [HTTP запросы](https://github.com/egor951769794/drom-datapipeline/blob/main/data-extraction/request_module.py): `data-extraction/request_module.py`
- [Подготовка записи](https://github.com/egor951769794/drom-datapipeline/blob/main/data-extraction/create_bull_json.py): `data-extraction/create_bull_json.py`
- [Данные объявления](https://github.com/egor951769794/drom-datapipeline/blob/main/data-extraction/get_additional_bull_info.py): `data-extraction/get_additional_bull_info.py`
- [Загрузка и ID изображений](https://github.com/egor951769794/drom-datapipeline/tree/main/data-extraction/misc): `data-extraction/misc`

### Обработка и доставка

- **Kafka**
- [Потоковые преобразования](https://github.com/egor951769794/drom-datapipeline/blob/main/pyspark-transforms/spark_schema_creator.py): `pyspark-transforms/spark_schema_creator.py`
- [Потребитель Datalake](https://github.com/egor951769794/drom-datapipeline/blob/main/minio-datalake/kafka-consumer/main.py): `minio-datalake/kafka-consumer/main.py`
- [Потребитель DWH](https://github.com/egor951769794/drom-datapipeline/blob/main/postgres-datawarehouse/kafka-consumer/main.py): `postgres-datawarehouse/kafka-consumer/main.py`

### Хранение данных

- **MinIO Datalake**
- [PostgreSQL DWH](https://github.com/egor951769794/drom-datapipeline/blob/main/postgres-datawarehouse/docker-entrypoint-initdb.d/01-init_db.sql): `postgres-datawarehouse/docker-entrypoint-initdb.d/01-init_db.sql`
- [Star Schema](https://github.com/egor951769794/drom-datapipeline/blob/main/postgres-datawarehouse/docker-entrypoint-initdb.d/01-init_db.sql): `postgres-datawarehouse/docker-entrypoint-initdb.d/01-init_db.sql`

### Аналитика

- [Superset](https://github.com/egor951769794/drom-datapipeline/blob/main/superset/superset_config.py): `superset/superset_config.py`

### Other components

- **Оператор**
- **Drom.ru**

## Connections

- Оператор → CLI запуск: запускает (evidence: `README.md`)
- CLI запуск → Парсер объявлений: создаёт (evidence: `data-extraction/main.py`)
- CLI запуск → Скрапер: запускает (evidence: `data-extraction/main.py`)
- Скрапер → Парсер объявлений: вызывает разбор (evidence: `data-extraction/bulletin_scraper.py`)
- Парсер объявлений → HTTP запросы: делает запросы (evidence: `data-extraction/bulletin_parser.py`)
- Скрапер → Drom.ru: запрашивает страницы (evidence: `data-extraction/bulletin_scraper.py`)
- Парсер объявлений → Подготовка записи: формирует данные
- Подготовка записи → Данные объявления: получает детали (evidence: `data-extraction/create_bull_json.py`)
- Подготовка записи → Загрузка и ID изображений: обрабатывает изображения (evidence: `data-extraction/create_bull_json.py`)
- Скрапер → Kafka: публикует сообщения (evidence: `data-extraction/bulletin_scraper.py`)
- Kafka → Потребитель Datalake: передаёт события
- Kafka → Потребитель DWH: передаёт события (evidence: `postgres-datawarehouse/kafka-consumer/main.py`)
- Kafka → Потоковые преобразования: подаёт поток
- Потоковые преобразования → PostgreSQL DWH: загружает преобразованные данные
- Потребитель Datalake → MinIO Datalake: сохраняет данные
- Потребитель DWH → PostgreSQL DWH: записывает записи (evidence: `postgres-datawarehouse/kafka-consumer/main.py`)
- PostgreSQL DWH → Star Schema: содержит (evidence: `README.md`)
- PostgreSQL DWH → Superset: предоставляет данные
