《红楼梦RAG问答系统》：一次传统文学与AI技术的融合实验

原创 于 2025-11-18 10:57:13 发布 · 335 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #开源 #llama #langchain #embedding #RAG #LLM

通过检索增强生成（RAG）技术，这个系统能像一位《红楼梦》研究专家一样，回答你提出的问题。无论是人物关系、情节梳理，还是书中的细节描写，都能即时生成答案。

💻系统预览体验地址：https://readrag.streamlit.app/

10s效果演示👆

用户只需输入问题，就能得到 AI 生成的解答，还能查看答案来源，保证可追溯性。这种“边问边学”的交互体验，本身也体现了 RAG 的核心优势：答案是基于真实文本的检索与推理。

项目直通车：https://www.heywhale.com/u/1dc0a7（复制至浏览器打开）

创作者主页：https://www.heywhale.com/u/766d3f

推荐理由

这个项目是一次把古典文学与现代 AI融合的精彩尝试，验证了 RAG 技术在 “知识型文本”→“智能问答” 转换上的可行性。从学习者的角度，这个项目的价值主要体现在三点：

  1. 完整的RAG框架实践：包括文档加载、分词、向量化、检索、Prompt设计、API调用，几乎涵盖了RAG的全部关键环节。
  2. 中文场景下的优化思路：比如jieba分词、停用词过滤、中文标点处理，这些都是中文NLP开发不可回避的问题。
  3. 代码可读性强：采用类的方式封装，注重依赖注入、路径抽象、组件分离，具备良好的可维护性和扩展性。

对于想学习如何从零搭建一个RAG智能问答系统的同学，这个项目比看原理介绍更直观，更具操作性。

技术路线一览

系统的实现思路很清晰，整体流程是：用户问题 → 文本预处理 → 向量化 → 相似度检索 → 上下文构建 →AI生成答案。

  • 核心框架：Python 3.11
  • 模型调用：DeepSeek API
  • 向量化：TF-IDF（平衡部署成本与效果）
  • 分词：jieba（结合停用词与标点处理）
  • 缓存：pickle序列化（避免重复计算，提高性能）
  • 架构核心类：RedMansionRAG

这里有几个亮点：

  1. 文本分块算法：不是简单按长度切割，而是按语义边界（标点符号）来保持语义完整。
  2. 缓存策略：同时缓存分词结果与向量索引，避免每次重复运算，在大规模文档上能显著提速。
  3. 检索优化：设定相似度阈值，先过滤无效结果，再排序，提高效率。
  4. Prompt工程：在生成环节，AI 会被明确设定为“红楼梦专家”，并按照严格格式返回答案，保证专业性与一致性。

从可用性到可扩展性

除了功能实现，项目还提供了大量可扩展的思路：

  • 性能优化：建议未来引入Faiss向量检索库、异步并发、Redis缓存等手段。
  • 多模态拓展：不仅限于文字，未来可扩展到人物关系图谱、剧情时间线，甚至图像与音频问答。
  • 个性化推荐：通过用户兴趣建模，实现更贴近用户的问答与知识推荐。

这些扩展方向，实际上为中文RAG应用提供了一个可迁移的范式。无论未来你要做的是企业知识库，还是教育问答系统，都能从中找到借鉴价值。

👉 感兴趣的朋友可以直接fork这个项目：https://www.heywhale.com/u/1dc0a7（复制至浏览器打开）

想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年 AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！

👇👇扫码免费领取全部内容👇👇

​

一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：

1. 100+本大模型方向电子书

在这里插入图片描述

2. 26 份行业研究报告：覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：

  • 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
  • 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
  • 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
  • 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT：听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：

在这里插入图片描述

  • 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
  • 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
  • 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
  • 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！

1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：

2. 102 道 AI 大模型真题：直击大模型核心考点

针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：

3. 97 道 LLMs 真题：聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：


三、路线必明： AI 大模型学习路线图，1 张图理清核心内容

刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！

在这里插入图片描述

路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。

img

L1阶段:启航篇丨极速破界AI新时代

L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。

img

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

img

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。

img

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。

img

L5阶段：专题集丨特训篇 【录播课】

img
四、资料领取：全套内容免费抱走，学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：

👇👇扫码免费领取全部内容👇👇

​

2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！

AI大模型..
关注
《Agentic AI 创新智能教育的全方位剖析，提示工程架构师视角》
小白菜的博客
08-28 863
本文从提示工程架构师的专业视角，全方位剖析了Agentic AI（智能体AI）如何重塑现代教育范式。作为人工智能与教育技术的交叉前沿，Agentic AI不仅代表技术演进的新阶段，更蕴含着重构教育生态系统的潜力。文章系统梳理了智能体系统的理论基础、架构设计原则和实现机制，深入探讨了提示工程在塑造教育智能体行为中的核心作用。通过融合认知科学、教育理论与AI技术，本文提出了"教育智能体金字塔"模型，详细阐述了从基础交互到高阶认知指导的演进路径。
《6G时代，提示工程创新：架构师的创新前沿阵地》
移动开发前沿的博客
08-12 719
当我们刚刚开始拥抱5G带来的变革时，下一代通信技术6G已悄然临近，承诺将重塑我们与数字世界的交互方式。本文深入探讨了6G时代下提示工程的革命性创新，揭示了这一交叉领域如何成为架构师的创新前沿阵地。我们将从6G与AI融合的技术背景出发，解析提示工程在未来智能网络中的核心地位，探讨新型提示架构设计原则，并通过实际案例展示如何构建适应6G环境的智能交互系统。无论您是AI架构师、通信工程师还是技术决策者，本文都将为您打开一扇通往未来智能世界的大门，展示如何在6G与提示工程的交汇点上引领创新，打造下一代智能交互体验。
为什么RAG技术需要知识向量化？通俗解析
wangjye99的博客
03-16 804
知识向量化是RAG技术的核心，它将文本转化为多维向量，使AI能够理解语义相似性而非仅做关键词匹配。这种技术能实现快速检索、准确理解语境、动态更新知识库，并有效减少AI幻觉。通过向量化，RAG系统可以在海量信息中精准定位相关内容，让AI变得既博学又精确。
《亚马逊卖家实战参考：运营困境突破与卡牌游戏市场全景分析》
KJYHS的博客
08-28 1086
PPC 营销预算分配：新品期（上架 1 - 2 个月）按 “月销售额目标的 15% - 20%” 分配，例如目标月销​10000，每月投入1500 - $2000，优先投放 “精准关键词”（如 “adult party card games”）；定价别死磕​5−20 红海，中高端（20−30）、高价（$30 + ）利润空间更大，像融入稀缺 IP、高端材质的卡牌，就适合走高价路线。新卖家想冒头，得靠 “细分场景 + 强差异化”，比如聚焦 “家庭聚会轻策略卡牌”，主打亲子互动、简单易学，避开与巨头正面刚。
【大模型RAG】（附代码）一站式打造个人知识库：Milvus 2.5 × BGE × BM25 × GPT - RAG 从 0 到 1 实战笔记
weixin_41645791的博客
06-09 1766
如何把散落在本地硬盘、NAS、网盘乃至企业 Wiki 里的海量文档，转化成可随问随答的「个人 ChatGPT」？本文以Milvus 2.5为向量数据库底座，结合生成稠密向量、内置倒排索引实现全文检索，并使用做轻量级重排，最终把检索结果注入GPT-4Prompt，形成端到端Hybrid RAG（Retrieval-Augmented Generation）问答链。全文超过一万字，力求将代码、原理、部署、调优、运维、安全、成本。
【RAG系列】AI的“三步记忆法“ - RAG工作流程全景解析
熵数实验室
02-24 1171
用户问题检索器向量数据库相关文档增强器增强提示生成器最终回答。
AI原生应用开发必看：7种幻觉缓解技术深度剖析
AI大模型应用之禅
05-09 770
本文聚焦“大语言模型（LLM）幻觉问题”，面向AI应用开发者、产品经理与技术决策者，系统讲解幻觉的成因、危害及7种主流缓解技术的落地方法。内容覆盖从基础概念到代码实战的全链路，重点解决“如何让AI‘说真话’”的核心问题。本文将按“问题认知→技术拆解→实战落地”的逻辑展开：先通过生活案例理解AI幻觉是什么，再逐一解析7种缓解技术的原理与实现，最后通过医疗问答的实战案例演示技术组合应用，文末附工具推荐与未来趋势分析。AI幻觉（Hallucination）
AI大模型：（二）2.3 预训练自己的模型
haylee的专栏
04-22 379
大模型预训练（Large-scale Pre-training）是当前自然语言处理（NLP）和人工智能领域的核心技术，其核心思想是通过海量数据和大量计算资源，让模型从通用任务中学习通用的语言表示或世界知识，再通过微调（Fine-tuning）适配下游任务。2013年Word2Vec出来之后开启了NLP预训练时代，但真正确立大模型预训练方式的还是transform的出现。现在基本所有的大语言模型都是transform架构上演变而来，然后经过大量的数据训练出的模型权重，就能拿来做推理。
李宏毅2025秋季机器学习作业 GenAI-ML-HW2-Build a Basic RAG System实操2
weixin_44626085的博客
10-22 681
这篇文章摘要介绍了GenAI和ML课程的第二个作业，主要内容是构建一个基于《红楼梦》文本的检索增强生成(RAG)系统。作业要求改进检索模型、优化数据预处理和提示格式化。文章展示了GPU状态检查、数据集下载（包括公共测试集、私有测试集和《红楼梦》全文）以及安装必要Python包（bitsandbytes和rank_bm25）的过程。代码片段还显示了NVIDIA GPU的运行状态和数据集下载的详细输出。
《数据之心》——鱼小妖的觉醒（青少年篇）
2401_83847752的博客
08-26 438
老人，打不了多少视频电话；她顺着山沟找到断点，两根裸露的光纤，在风中轻轻碰触。她偷了父亲的电工包，用最简陋的熔接机（网上淘的二手货），把两根光纤接上。一个孩子正用VR眼镜“走进”故宫，惊叹：“妈妈，我看见太和殿了！她开始研究定向天线，用铁丝编成抛物面，把信号“射”向邻村的基站。阿芸站在星空下，指着一条银河：“小妖，你的溪流，不该只流在山里。临行前，她把“灵溪计划”的代码刻在一块铜板上，埋在信号塔下。那天，全村人聚在小学，看她用平板直播了一场城市音乐会。一夜未眠，写了个伪装程序，让系统以为这是“合法接入”。
《数据之心》——鱼小妖的觉醒
2401_83847752的博客
08-26 471
北京如星河，上海似熔金，而西南群山之间，一点微弱的蓝光，像萤火般闪烁。我盯着那行红字，忽然想起老周说过：“权限不是锁，是信任。这是我对它的承诺：我来，不是为了控制你，而是为了修复你，优化你，让你更好。父亲倒在门槛上，雨水顺着屋檐砸在铁皮桶里，一声，一声，像倒计时。我坐在出租屋的床边，窗外是城市的霓虹，屋里只有我一个人的呼吸。是“repair”的变位，“the repair”的倒写。是我们，一起修好的。老周教我第一课时，没讲代码，只讲了一个字：“听。“小妖，系统不怕老，怕的是没人记得它为什么而生。
《独家：提示工程架构师为你解读AI提示系统可持续发展策略》
AI 原生应用开发的博客
08-27 407
当企业用提示词驱动AI时，最头疼的问题往往不是“怎么写出好用的提示词”，而是“好用的提示词怎么保持长期有效”——业务需求变了、用户问题复杂了、基础模型升级了，原本精准的提示词可能突然“失效”，导致AI响应准确率暴跌、用户投诉激增。本文从提示工程架构师用“经营餐厅”的类比讲透提示系统的核心矛盾；用“生命周期管理”构建提示词的“成长体系”；用“上下文适配”让提示词“懂场景”；用“鲁棒性优化”让提示词“抗干扰”；用“反馈闭环”让提示词“会进化”；用“协同演化”让提示系统与AI模型“共生”。
快手Q2季度财报营收350亿，《赛马娘》全球上线两个月收入达4680万美元
yingxiao888的博客
08-28 569
摘要：2025年Q2季度多家企业业绩亮眼：快手营收350.4亿元，其中可灵AI收入2.5亿元，用户翻倍；吉比特营收25.18亿元，《问道手游》贡献10.71亿元；沙特Kammelna获5300万美元投资。多款游戏表现突出：《赛马娘》海外收入4680万美元，《TopTycoon》30天流水274万美元，《MagicSort！》登美国下载榜Top3。京东旗下Joybuy重返欧洲市场，正式登陆法国。语音生成App《Parrot》30天收入26万美元，展现创意工具潜力。
《分布式语音识别服务优化：C++ 编译选项调优与性能提升》
最新发布
2501_93893303的博客
10-27 358
性能关键指标可表示为： $$ \text{加速比} = \frac{T_{\text{原始}}}{T_{\text{优化}}} $$ 其中 $T$ 表示任务执行时间。通过精细化的编译选项调优，可显著提升分布式语音识别服务的吞吐量和实时性，同时降低计算资源消耗。建议结合具体硬件架构进行选项组合验证，以达到最优性能表现。
《紧急关注！提示工程架构师呼吁关注Agentic AI伦理道德紧急情况》
Golang编程笔记的博客
08-11 685
Agentic AI的伦理挑战与传统软件系统或早期AI有着本质区别，源于其自主性、目标导向性和环境交互能力的独特组合。决策自主性维度：Agentic AI系统在多大程度上能够独立做出影响人类利益的决策。层级1（人类主导）：AI提供建议，人类做最终决策层级2（共享控制）：AI和人类共同决策，彼此监督层级3（条件自主）：AI在特定条件下可自主决策，但需人类定期监督层级4（完全自主）：AI在开放环境中可长期自主决策，人类监督有限。
从零开始构建GraphRAG红楼梦知识图谱问答项目(三)
麦麦大数据
08-21 336
本文介绍了如何基于GraphRAG技术构建红楼梦知识问答系统。内容包括：1）搭建FastAPI后端服务，配置GraphRAG相关导入和参数；2）实现全局/本地搜索接口，支持流式响应；3）提供测试脚本验证问答效果。文章展示了完整的代码实现，包括模型配置、API接口开发及测试方法，并附有运行效果截图。该系统能够回答关于红楼梦人物关系、主题分析等问题。
《惊艳效果！提示工程架构师打造提示系统在虚拟现实惊艳效果》
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
08-12 1046
在虚拟现实(VR)技术迅猛发展的今天，内容创作的质量与效率成为制约用户体验的关键瓶颈。本文深入探讨了提示工程架构师如何通过精心设计的提示系统，将生成式AI与虚拟现实技术完美融合，创造出令人惊艳的沉浸式体验。我们将从理论基础、系统架构、技术实现到实际案例，全面解析提示工程在VR领域的创新应用，展示如何通过精准的提示设计解决VR内容生成、实时交互和个性化体验等核心挑战。无论你是VR开发者、AI工程师还是内容创作者，本文都将为你打开一扇通往未来沉浸式体验的大门，揭示提示工程如何成为VR产业升级的关键驱动力。
《构建应用生态！提示工程架构师构建提示工程在智能设备应用生态》
移动开发前沿的博客
08-12 848
提示工程是一门专注于设计、优化和评估提示以有效引导AI模型（特别是大型语言模型，LLMs）产生预期输出的学科。它不仅是一种技术手段，更是连接人类意图与AI能力的桥梁。核心价值能力放大：使AI模型在不进行额外训练的情况下展现出新能力精度提升：通过结构化提示提高AI输出的准确性和可靠性可控性增强：使开发者和用户能够更好地控制AI行为资源优化：减少对大规模微调的需求，降低计算资源消耗。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值