How 3t3rn41/multimodal_rag_assistant works
这是一个面向文档、图片、音频和视频的多模态 RAG 助手方案。当前代码覆盖了数据解析与切片、向量化和入库，以及混合检索、重排、流式生成和引用校验；README 所列前端、后端 API、任务队列和部署仍属后续规划，故不画作已实现组件。主要流程是资料转为统一 Chunk 并索引，用户提问后检索和重排相关片段，再生成可追溯回答。媒体处理与评估能力也单独呈现。连接依据 README 和已采样源码；未采样模块仅按文档说明纳入，避免推断其内部调用。
Main entry points: pipeline.py RAG 编排 · retrieval.py 混合召回 · chunking.py 统一切片 · documents.py 文档解析
Components 20
Connections 21
- 资料文件 → 文档解析: 解析文档
- 资料文件 → 媒体处理: 处理媒体
- 文档解析 → 统一切片: 提供文本块
- 媒体处理 → 统一切片: 提供媒体证据
- 统一切片 → Chunk 契约: 生成 Chunk
- Chunk 契约 → 多模态向量化: 提供内容
- 多模态向量化 → 批量索引: 生成向量
- 批量索引 → Qdrant 向量库: 写入向量
- 提问者 → RAG 编排: 提交问题
- RAG 编排 → 混合召回: 发起召回
- 混合召回 → 向量检索适配: 请求向量检索
- 向量检索适配 → Qdrant 向量库: 查询向量
- 混合召回 → 候选重排: 融合候选并重排
- 候选重排 → Jina Rerank API: 请求评分
- RAG 编排 → 上下文提示: 构建上下文
- RAG 编排 → 流式模型适配: 请求生成
- 流式模型适配 → 兼容模型服务: 流式调用
- RAG 编排 → 引用校验: 校验引用
- RAG 编排 → 回答与引用: 输出回答
- 混合召回 → 检索评估指标: 提供检索结果
- 引用校验 → 检索评估指标: 提供引用结果