RAG实战 第三章：知识库构建与管理

本章将详细阐述 RAG 系统中最核心的“知识”部分——知识库的构建与管理。我们将深入探讨从多样化的企业数据源中提取信息，经过清洗、切分、嵌入等处理，最终高效地存储于向量数据库，并实现后续更新与维护的全流程。高质量的知识库是 RAG 系统准确性和可靠性的基石。

---

3.1 数据源接入与文档加载

RAG 系统的智能性首先体现在其能够“学习”并利用广泛的知识。这意味着我们需要能够从企业内部的各种异构数据源中提取原始信息。这个过程是构建高质量知识库的起点。

企业常见数据源

在企业环境中，知识通常分散在不同的系统和格式中，常见的包括：

• 内部文档系统：

  这是最常见的知识来源。

  • Confluence： 广泛用于项目文档、技术规范、会议纪要等。其页面通常包含结构化和非结构化文本、图片、表格等。
  • SharePoint： Microsoft 生态系统中的文档管理和协作平台，存储各类企业文件、报告和内部网站内容。
  • Wiki 系统（如 GitLab Wiki, MediaWiki）： 工程师和团队常用于记录开发规范、操作手册、常见问题解答等。

• 项目管理工具：

  虽然主要用于任务管理，但其附带的文档或描述也包含有价值的知识。

  • Jira： 用户故