RAG在B站大会员中心数据智能平台的应用实践

在数字化浪潮中，数据已成为企业的核心资产。在B站大会员中心部门，数据智能平台扮演着举足轻重的角色。它不仅要处理和分析大规模的会员数据，为会员服务的优化和拓展提供坚实的数据支撑，还要满足业务对于数据洞察的多样化需求。

传统的数据查询方式依赖专业的SQL语句，这对于非技术背景的业务人员来说，无疑是一道难以跨越的门槛。他们往往有明确的业务问题，却因为缺乏SQL技能而无法快速获取所需数据。例如，运营人员想要了解特定时间段内新开通大会员用户的OGV内容消费情况，以制定针对性的推广策略，但编写复杂的SQL语句对他们来说并非易事。

此时，LLM 的出现为解决这一困境带来了曙光。通过自然语言转SQL技术，LLM能够让业务人员用日常的语言与数据智能平台进行交互。业务人员只需输入 “查询男性用户且年龄大于20岁的观看《xxx》的近一周总vv和vt”，平台就能理解其意图，并将自然语言转换为准确的SQL查询语句，快速返回所需数据，大大提高了数据获取的效率和便捷性 ，为业务决策赢得了宝贵的时间。

RAG技术原理剖析

传统LLM生成SQL的困境

尽管LLM在自然语言处理领域展现出了强大的能力，但在直接生成SQL语句时，仍然面临着诸多挑战，主要存在“幻觉” 问题：模型在生成SQL时，可能会产生与实际数据模式或业务逻辑不相符的语句，例如，在处理数据时，可能会出现字段名错误引用，或者错误地关联了不相关的表，甚至编造一些实际不存在的表名和字段名，导致查询结果不准确甚至无法执行。

RAG工作流程

RAG（Retrieval-Augmented Generation）技术的出现，为解决上述问题提供了有效的途径。它创新性地将向量数据库与LLM相结合，通过引入外部知识库，极大地提升了生成SQL的准确性和可靠性 。在RAG架构中，向量数据库扮演着关键的角色，它能够存储和管理大量的上下文信息，包括数据模型、业务规则、历史查询示例等。这些信息被转化为向量形式存储在向量数据库中，通过向量检索技术可以快速准确地获取与用户问题语义相近的上下文。其工作流程框图如下所示：

文档预处理与向量库构建阶段

• 非结构化加载器

作为系统的数据入口，通过适配不同文件格式的解析组件，实现对本地多类型文档（.docx/.xlsx/.PDF ）的结构化转换，提取文本内容并统一输出为纯文本流（TEXT）

• 数据切片

基于文本语义与长度约束（如按段落、固定 Token 数）对纯文本（TEXT）进行分段切割，生成语义相对完整的文本块（CHUNKS） 。核心作用是控制文本单元大小，适配后续向量模型输入限制，同时保留局部语义完整性，为召回精准上下文做准备。

• 向量化（EMBEDDING）

利用预训练的文本向量模型，将文本块（CHUNKS）转化为高维向量（EMBEDDING） 。通过语义映射，把文本语义转化为向量空间的数值表示，使后续可基于向量相似度衡量文本关联度。

• 向量数据库

作为向量的持久化存储与检索引擎，接收并存储文本块向量（EMBEDDING） ，构建索引加速相似性查询。支持基于向量距离（如余弦相似度）的快速检索，为问答阶段提供 “语义召回” 能力。

问答推理阶段

• 问题向