How chenty2333/tiktok-youtube_commentscraper works
该仓库是归档的双平台社交媒体视频评论抓取工具。用户分别通过 TikTok 或 YouTube 命令行入口提交视频并设置抓取选项；对应抓取流程访问平台评论接口，获取主评论及可选回复，整理字段后增量保存为 JSON。配置模块从 dotenv 环境加载令牌和 API 密钥。README 还记录了可选用户信息、时间字段等能力；采样源码不完整，因此图只连接有明确证据的调用与数据流。
Main entry points: youtube_comments_scraper.py YouTube 抓取流程 · tiktok_comments_scraper.py TikTok 抓取流程 · config.py 环境配置
Components 19
命令行入口
- TikTok CLI
tiktok_comments_scraper.py - YouTube CLI
youtube_comments_scraper.py
TikTok 抓取
- TikTok 抓取流程
tiktok_comments_scraper.py - TikTokApi 会话
tiktok_comments_scraper.py - 主评论与回复
tiktok_comments_scraper.py - 评论字段整理
tiktok_comments_scraper.py
YouTube 抓取
- YouTube 抓取流程
youtube_comments_scraper.py - 视频 ID 解析
youtube_comments_scraper.py - 视频验证
youtube_comments_scraper.py - YouTube Data API
youtube_comments_scraper.py - 线程与回复
youtube_comments_scraper.py - 评论字段整理
youtube_comments_scraper.py
配置与输出
- 环境配置
config.py - JSON 输出文件
Other components
- 命令行用户
- dotenv 文件
- TikTok 服务
- YouTube API 服务
- YouTube oEmbed
Connections 21
- 命令行用户 → TikTok CLI: 提交参数
- 命令行用户 → YouTube CLI: 提交参数
- TikTok CLI → TikTok 抓取流程: 调用抓取
- YouTube CLI → YouTube 抓取流程: 调用抓取
- TikTok 抓取流程 → 环境配置: 读取令牌
- YouTube 抓取流程 → 环境配置: 读取 API 密钥
- dotenv 文件 → 环境配置: 加载变量
- TikTok 抓取流程 → TikTokApi 会话: 创建会话
- TikTokApi 会话 → TikTok 服务: 请求评论
- TikTok 抓取流程 → 主评论与回复: 遍历评论
- 主评论与回复 → 评论字段整理: 整理字段
- TikTok 抓取流程 → JSON 输出文件: 增量写入
- YouTube 抓取流程 → 视频 ID 解析: 解析视频地址
- YouTube 抓取流程 → 视频验证: 验证视频
- 视频验证 → YouTube oEmbed: 验证请求
- YouTube 抓取流程 → YouTube Data API: 构建 API 客户端
- YouTube Data API → YouTube API 服务: 查询评论
- YouTube 抓取流程 → 线程与回复: 分页获取线程
- 线程与回复 → YouTube API 服务: 请求回复
- 线程与回复 → 评论字段整理: 整理字段
- YouTube 抓取流程 → JSON 输出文件: 增量写入