大模型 搭建知识库 RAG

最新推荐文章于 2025-04-25 15:49:50 发布
最新推荐文章于 2025-04-25 15:49:50 发布
阅读量1.4k 收藏 17
点赞数 7
分类专栏： 大模型 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_44496832/article/details/136102569
版权
本文介绍了如何在已有的Python环境中部署LLM知识库助手，包括安装必要的依赖、模型下载、LangChain集成以及进阶作业如故事机器人的构建步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

介绍

LLM具有强大的语言理解和生成能力，当下存在一些局限性，失效受制、专业能力有限和定制成本高。有两种开发范式RAG（实时更新）和Finetune（个性化微调）。
RAG 检索增强生成
在这里插入图片描述
基于langchain搭建rag应用
在这里插入图片描述
构建向量数据库
在这里插入图片描述
搭建知识库助手
在这里插入图片描述
在这里插入图片描述
基于gradio的web部署

基础作业-复现知识库助手搭建过程

进入 conda 环境之后，使用以下命令从本地一个已有的 pytorch 2.0.1 的环境，然后使用以下命令激活环境

bash
/root/share/install_conda_env_internlm_base.sh InternLM
conda activate InternLM

在这里插入图片描述

在环境中安装运行 demo 所需要的依赖

python -m pip install --upgrade pip
pip install modelscope==1.9.5
pip install transformers==4.35.2
pip install streamlit==1.24.0
pip install sentencepiece==0.1.99
pip install accelerate==0.24.1

在这里插入图片描述

模型下载

mkdir -p /root/data/model/Shanghai_AI_Laboratory
cp -r /root/share/temp/model_repos/internlm-chat-7b /root/data/model/Shanghai_AI_Laboratory/internlm-chat-7b

在这里插入图片描述
在已完成 InternLM 的部署基础上，还需要安装LangChain 依赖包

pip install langchain==0.0.292
pip install gradio==4.4.0
pip install chromadb==0.4.15
pip install sentence-transformers==2.2.2
pip install unstructured==0.10.30
pip install markdown==3.3.7
pip install -U huggingface_hub

在这里插入图片描述
通过huggingface下载开源词向量模型 Sentence Transformer
在这里插入图片描述
下载 NLTK 相关资源

cd /root
git clone https://gitee.com/yzy0612/nltk_data.git  --branch gh-pages
cd nltk_data
mv packages/*  ./
cd tokenizers
unzip punkt.zip
cd ../taggers
unzip averaged_perceptron_tagger.zip

在这里插入图片描述
下载本项目代码

cd /root/data
git clone https://github.com/InternLM/tutorial

在这里插入图片描述
数据收集

收集数据

cd /root/data
git clone https://gitee.com/open-compass/opencompass.git
git clone https://gitee.com/InternLM/lmdeploy.git
git clone https://gitee.com/InternLM/xtuner.git
git clone https://gitee.com/InternLM/InternLM-XComposer.git
git clone https://gitee.com/InternLM/lagent.git
git clone https://gitee.com/InternLM/InternLM.git

在这里插入图片描述
构建知识库
在这里插入图片描述
InternLM 接入 LangChain
在这里插入图片描述

构建检索问答链并运行
在这里插入图片描述
将服务器端口映射到本地端口
在这里插入图片描述
打开网页
在这里插入图片描述

进阶作业

我来制作一个讲故事的机器人
1、收集故事
在这里插入图片描述

2、构建知识向量库
在这里插入图片描述
3、运行web 测试下
在这里插入图片描述

大模型系列——一文搞懂RAG构建知识库和知识图谱
2401_84052244的博客
04-29 142
向量化通过Embedding模型将非结构化数据（文本、图像等）映射为高维语义向量，存储则依托专用向量数据库（如ElasticSearch的dense_vector字段、Milvus）构建高效索引（HNSW、FAISS），支持近似最近邻搜索（ANN）实现大规模向量数据的快速相似性匹配。RAG构建知识库的核心在于将外部知识检索与大语言模型生成能力结合，通过高效检索为生成提供上下文支持，从而提升答案的准确性和时效性。**二、知识库和知识图谱********检索与生成的协同****三、Prompt 工程实践。
【大模型】大模型RAG检索增强生成技术使用详解
congge
11-17 6177
大模型RAG检索增强生成技术使用详解
大模型技术学习系列(5): 基于langchain构建RAG应用
u011160113的博客
07-23 1498
本章中，我们回归了一下RAG的流程，并分析了下这个过程中涉及到的组件以及这些组件在langchain中对应的实现方式，并整合这些方式，实现了带RAG的大模型应用。通过这个实践过程，能够帮助我们更好的理解RAG的整个过程。
RAG与知识库搭建，手把手教你构建RAG系统
qkh1234567的博客
11-13 4216
自从发现可以利用自有数据来增强大语言模型（LLM）的能力以来，如何将 LLM 的通用知识与个人数据有效结合一直是热门话题。关于使用微调（fine-tuning）还是检索增强生成（RAG）来实现这一目标的讨论持续不断。检索增强生成 (RAG) 是一种使用来自私有或专有数据源的信息来辅助文本生成的技术。它将检索模型（设计用于搜索大型数据集或知识库）和生成模型（例如大型语言模型 (LLM)，此类模型会使用检索到的信息生成可供阅读的文本回复）结合在一起。
本地部署大模型的几种方式，非常详细，收藏这一篇就行！
最新发布
aolan123的博客
04-25 1135
开源大模型, 或者说本地化运行一个开源大模型, 现在已经越发的简单与低门槛了. 只要有足够的。
RAG与知识库搭建
lovely_yoshino的博客
06-11 1万+
自从发现可以利用自有数据来增强大语言模型（LLM）的能力以来，如何将 LLM 的通用知识与个人数据有效结合一直是热门话题。关于使用微调（fine-tuning）还是检索增强生成（RAG）来实现这一目标的讨论持续不断。检索增强生成 (RAG) 是一种使用来自私有或专有数据源的信息来辅助文本生成的技术。它将检索模型（设计用于搜索大型数据集或知识库）和生成模型（例如大型语言模型 (LLM)，此类模型会使用检索到的信息生成可供阅读的文本回复）结合在一起。
一文读懂RAGFlow：从 0 到 1教你搭建RAG知识库
python12345_的博客
02-26 6591
RAGFlow是一种融合了数据检索与生成式模型的新型系统架构，其核心思想在于将大规模检索系统与先进的生成式模型（如Transformer、GPT系列）相结合，从而在回答查询时既能利用海量数据的知识库，又能生成符合上下文语义的自然语言回复。该系统主要包含两个关键模块：数据检索模块和生成模块。数据检索模块负责在海量数据中快速定位相关信息，而生成模块则基于检索结果生成高质量的回答或文本内容。
一文带你速通RAG、知识库和LLM！
youmaob的博客
05-28 4107
定制知识库是指一系列紧密关联且始终保持更新的知识集合，它构成了 RAG 的核心基础。这个知识库可以表现为一个结构化的数据库形态（比如：MySQL），也可以表现为一套非结构化的文档体系（比如：文件、图图片、音频、视频等），甚至可能是两者兼具的综合形式。
【大模型动手篇】5分钟本地部署大模型 + 知识库RAG （待）
m0_46250943的博客
07-18 916
本地大模型：把各大厂（如Meta，阿里）开源的模型放到自己的电脑上去运行，不需要联网，不需要收费，隐私也不会泄露知识库：给大模型开卷考试，每次回答问题之前去知识库里查答案，根据查出来的事实回答你。
RAG & LLm大模型构建本地知识库
topfine的博客
04-05 1139
RAG与LLM的优势 如何构建垂域（向量）知识库 文本分块的技巧 构建一套完整 RAG 系统的步骤
【实际动手】搭建MaxKB 大模型和 RAG 的知识库问答系统
longxiaotian718的博客
10-29 3756
MaxKB，作为企业级知识库问答系统，以其强大的功能和灵活的部署方式，为企业提供了一种高效、智能的信息处理方案，更在AI技术的持续进步中展现出无限的潜力。它通过深度整合自然语言处理和机器学习技术，使得企业能够轻松应对数据洪流，实现信息的快速检索、精准分析和智能决策。展望未来，随着AI技术的进一步发展，MaxKB有望在知识管理和智能问答领域发挥更大的作用。它将继续推动企业知识资产的有效管理和利用，助力企业在激烈的市场竞争中保持领先。
大模型技术 | 基于大模型构建本地知识库
python1234_的博客
08-30 3499
模型以其庞大的数据容量和深度学习能力，为处理复杂任务提供了前所未有的可能性。但在特定应用场景下仍面临挑战，尤其是在需要快速、准确响应的情境中。为了克服这些限制，构建一个基于大模型的本地知识库显得尤为重要。
如何手撸一个自有知识库的RAG系统
python1234567_的博客
06-20 1039
RAG通常指的是"Retrieval-Augmented Generation"，即“检索增强的生成”。这是一种结合了检索（Retrieval）和生成（Generation）的机器学习模型，通常用于自然语言处理任务，如文本生成、问答系统等。我们通过一下几个步骤来完成一个基于京东云官网文档的RAG系统。
RAG（大模型+知识库）落地与知识管理的春天-新的知识运营体系
weixin_59191169的博客
05-23 3949
大模型时代来了，可能你也知道GPT大模型是被海量知识训练出来的，但不知道你有没有问过，什么样的知识才能训练大模型？站在企业的角度，很多企业都有自己的知识库或者文档中心，很多人也都有自己积攒数年的资料库，那是不是用上大模型，就能轻松实现基于自己知识库的智能搜索/智能问答/智能推荐呢？（一）知识基础形态和知识质量在传统的搜索、问答、推荐等场景中，通常会返回一整篇的文档，我们还得在这一大篇资料中去找到自己想要的那一段具体内容。不少企业构建的知识库，其实就是文档库。
大模型里的知识库是什么？
qq_36929638的博客
04-12 536
是指用于存储、组织和检索结构化或非结构化知识的系统，通常作为外部数据源与大模型（如GPT-4、LLaMA等）结合，以增强模型对专业领域或实时信息的理解能力。，通过RAG等技术弥补模型固有缺陷，成为落地应用的核心组件。，未来将更注重实时性与自动化。
快速搭建自己的RAG知识库（Ollama、Page Assist、Anything LLM）
瓦罗兰特顶级C位的博客
03-19 1211
先解释一下字面意思：RAG Retrieal-Augmented Generation 检索增强生成。RAG 可以帮助我们减少大模型的“幻觉”问题，还可以注入最新资讯及特定领域的关键信息，是一种低成本（相比于模型微调，肯定是成本低得多）的让大模型知道专业领域知识或者一些隐私数据的手段。首先将我们的知识库（一些专用领域的数据或者隐私数据等，可以是 PDF、CSV、txt、md 等多种格式）分割为文本块。使用 Embedding Model 将文本块转为向量（Vector Embeddings）。
使用RAGFlow搭建知识库
810cheng
03-10 1471
ragflow搭建企业知识库
【大模型知识库】（1）：系统架构设计思考/调研。开源项目llm-knowledge-system，部署mysql，seilisearch，milvus，fastchat的ChatGLM3，BGE-zh
freewebsys的专栏
11-28 2602
项目介绍端口mysql数据库3306搜索库7700milvus向量数据库19530fastchat模型框架，部署chatglm3,BGE-zh8000使用goframe可以快速创建项目。然后就可以进行开发了。在项目的docker-compose 目录下可以直接将各种中间件服务都启动。配置都在各自中间件的目录下面。数据都存储在data目录下面。
本地部署大模型？Ollama 部署和实战，看这篇就够了
热门推荐
u010522887的专栏
07-24 3万+
Ollama 也许是当前最便捷的大模型部署工具，配合Open WebUI，人人都可以拥有大模型自由。
Deepseek+Dify本地搭建RAG大模型私有知识库
02-26
### 构建RAG大模型私有知识库 #### 使用Deepseek和Dify实现本地部署 为了在本地环境中使用Deepseek和Dify构建RAG大模型的私有知识库，需完成一系列配置与集成操作。具体过程涉及环境准备、安装必要的软件包和服务设置。 #### 环境准备 确保拥有适合运行大型语言模型的基础架构，包括但不限于足够的计算资源（CPU/GPU）、内存空间及存储容量。此外，还需准备好支持Python编程的语言环境及相关依赖项[^3]。 #### 安装Deepseek-R1 按照官方文档指导，在服务器上部署Deepseek-r1版本的大规模预训练模型实例。此步骤通常涉及到下载权重文件、调整参数配置以适应硬件条件等操作[^1]。 #### 配置Dify平台 通过Dify提供的API接口或命令行工具连接已部署好的Deepseek-r1服务端口，使两者之间建立有效的通信链路。此时可以测试二者之间的连通性，确认消息传递正常无误[^2]。 #### 创建嵌入式索引 针对目标领域内的文本资料集执行向量化处理，生成对应的embedding表示形式，并将其导入至数据库中形成结构化的索引体系。这一环节对于后续查询效率至关重要。 #### 实现检索增强机制 设计合理的算法逻辑，使得当用户发起咨询请求时，系统能够快速定位最相关的背景信息片段作为辅助材料输入给LLM进行响应合成；同时保持对话流畅性和自然度不受影响。 ```python from dify import DifyClient import deepseek as ds client = DifyClient(api_key='your_api_key') model = ds.load_model('path_to_deepseek_r1') def get_context(query): embeddings = model.encode([query]) results = client.search(embeddings=embeddings, top_k=5) context = " ".join([r['text'] for r in results]) return context ``` 上述代码展示了如何利用Dify客户端API获取与查询语句相似度最高的几个条目，并将它们组合成一段连续的文字串供进一步分析使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值