How egor951769794/drom-datapipeline works
Это ETL/ELT-пайплайн объявлений автомобилей с Drom.ru: пользователь запускает сбор для региона и режима, скрапер извлекает и нормализует объявления и изображения, а далее данные проходят через Kafka в Datalake и DWH для аналитики в Superset. Граф сохраняет отдельные этапы подготовки, преобразования и загрузки. Потоки Kafka и PostgreSQL подтверждены показанным кодом; связи для MinIO, Spark и аналитики опираются на описание в README, поскольку их runtime-код не был показан.
Main entry points: bulletin_scraper.py Скрапер · bulletin_parser.py Парсер объявлений · 01-init_db.sql PostgreSQL DWH · main.py CLI запуск
Components 17
Сбор объявлений
- CLI запуск
data-extraction/main.py - Скрапер
data-extraction/bulletin_scraper.py - Парсер объявлений
data-extraction/bulletin_parser.py - HTTP запросы
data-extraction/request_module.py - Подготовка записи
data-extraction/create_bull_json.py - Данные объявления
data-extraction/get_additional_bull_info.py - Загрузка и ID изображений
data-extraction/misc
Обработка и доставка
- Kafka
- Потоковые преобразования
pyspark-transforms/spark_schema_creator.py - Потребитель Datalake
minio-datalake/kafka-consumer/main.py - Потребитель DWH
postgres-datawarehouse/kafka-consumer/main.py
Хранение данных
- MinIO Datalake
- PostgreSQL DWH
postgres-datawarehouse/docker-entrypoint-initdb.d/01-init_db.sql - Star Schema
postgres-datawarehouse/docker-entrypoint-initdb.d/01-init_db.sql
Аналитика
- Superset
superset/superset_config.py
Other components
- Оператор
- Drom.ru
Connections 18
- Оператор → CLI запуск: запускает
README.md - CLI запуск → Парсер объявлений: создаёт
data-extraction/main.py - CLI запуск → Скрапер: запускает
data-extraction/main.py - Скрапер → Парсер объявлений: вызывает разбор
data-extraction/bulletin_scraper.py - Парсер объявлений → HTTP запросы: делает запросы
data-extraction/bulletin_parser.py - Скрапер → Drom.ru: запрашивает страницы
data-extraction/bulletin_scraper.py - Парсер объявлений → Подготовка записи: формирует данные
- Подготовка записи → Данные объявления: получает детали
data-extraction/create_bull_json.py - Подготовка записи → Загрузка и ID изображений: обрабатывает изображения
data-extraction/create_bull_json.py - Скрапер → Kafka: публикует сообщения
data-extraction/bulletin_scraper.py - Kafka → Потребитель Datalake: передаёт события
- Kafka → Потребитель DWH: передаёт события
postgres-datawarehouse/kafka-consumer/main.py - Kafka → Потоковые преобразования: подаёт поток
- Потоковые преобразования → PostgreSQL DWH: загружает преобразованные данные
- Потребитель Datalake → MinIO Datalake: сохраняет данные
- Потребитель DWH → PostgreSQL DWH: записывает записи
postgres-datawarehouse/kafka-consumer/main.py - PostgreSQL DWH → Star Schema: содержит
README.md - PostgreSQL DWH → Superset: предоставляет данные