基于LangChain-Chatchat + Ollama + Qwen2-7b搭建本地私有中文知识库和 chatGPT（Ubuntu24 纯CPU）

AlanLai、

已于 2024-10-08 15:21:13 修改

阅读量4.6k

点赞数 52

文章标签： python chatgpt 人工智能机器学习 ubuntu

于 2024-09-26 17:43:01 首次发布

本文链接：https://blog.youkuaiyun.com/ANONYMOUSLAI/article/details/142563221

版权

前言
目前好多优秀的开源大模型，如Meta的 llama 3.1、阿里的 qwen2、谷歌的 gemma2，都各有千秋，甚至媲美 chatGPT-4，最近公司准备搭建一套知识库，从数据安全考虑，准备利用网上开源的大模型和部署框架搭一套试试效果，这里记录下过程。

一、项目环境

操作系统：Ubuntu24（无显卡，虚拟的一个16核/32G/500G硬盘的服务器）
Python：3.9（Anconda3）
LLM大模型：qwen2-7b
Embedding模型：quentinz/bge-large-zh-v1.5
模型部署框架：Ollama
应用集成框架：LangChain-Chatchat

二、项目部署

创建 Python3.9 环境（自行安装好 Anconda3），这里直接开始创建环境，执行以下命令：

conda create -n chatchat python=3.9
conda activate chatchat

安装Ollama，执行以下命令：

curl -

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

AlanLai、

关注关注

52
点赞
踩
47

收藏

觉得还不错? 一键收藏
5
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）

丨汀、的博客

05-06

2239

基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）

【源码解析】Ollama与Qwen集成LangChain：从模型加载到调用

chuweiyan的博客

11-04

765

在人工智能实践过程中，涉及到如何灵活调用国产大模型，因为网络连接原因，OpenAI在国内难以连接使用，那么在实践中我们通常会使用国产大模型比如Qwen或者智普大模型来代替。安装Qwen需要5分钟左右，可以使用学术资源加速提升下载速度。页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的。到这里，在langchain中就成功调用Qwen大模型了。ollama官网：https://ollama.com/安装qwen:0.5b-chat，5亿参数模型。安装成功后，运行并对话。可以选择需要的模型。

5 条评论您还未登录，请先登录后发表或查看评论

langchain+ollama+deepseek的部署（win）

最新发布

优秀的判断力来自经验，但经验来自于错误的判断

03-24

516

在去 ollama 官网通过命令下载(你需要的模型)我下载的是：deepseek 和 bge-ms。需要修改 model_settings 和 basic_settings。下载langchain-chatchat 建议用国内镜像。创建完成后-通过 cmd 命令进行安装。通过 cmd 窗口验证是否安装成功。注意：根据自己的实际情况而定。

Windows使用Langchain-Chatchat与Ollama搭建本地离线知识库

snolkmg的博客

10-22

3701

为避免依赖冲突，请将 Langchain-Chatchat 放在 Python 虚拟环境中, 比如 conda, venv, virtualenv 等。基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开源、可离线部署的 RAG 与 Agent 应用项目。需要删除ollama之外的所有其他工具的配置，仅保留ollama相关配置。下载并安装，当前安装版本为v0.3.14。若不设置该环境变量，则自动使用当前目录。均可使用默认配置，需要修改可以参考。当前版本v0.3.1.3。

LangChain-ChatChat+Ollama+DeepSeek 构建RAG本地知识库

bigwhitetao9527的博客

01-23

1万+

使用 LangChain-ChatChat+Ollama+DeepSeek 构建RAG本地知识库

langchain_chatchat+ollama部署本地知识库，联网查询以及对数据库(Oracle)数据进行查询

Y525698136的博客

11-23

2300

langchain_chatchat+ollama部署本地知识库，联网查询以及对数据库(Oracle)数据进行查询

deepseek 搭建本地私有化知识库（windows 基于LangChain-Chatchat + ollama + bge-m3）

我hate吃西红柿

02-13

1259

之前写过一篇LangChain-Chatchat搭建本地知识库的，现在再次讲解下 LangChain-Chatchat + deepseek + bge-m3 来实现本地私有化知识库。

Langchain-Chatchat基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答

02-07

Langchain-Chatchat是一款基于Python开发的本地知识库问答系统，它整合了Langchain库和ChatGLM等先进的自然语言处理技术，旨在提供高效、个性化的智能问答服务。Langchain是一个强大的工具集，用于构建和管理语言...

基于LangChain调用本地部署（Ollama）的大模型Qwen(2)

weixin_44217158的博客

09-04

2361

然而，对于一些对数据安全和响应速度有较高要求的应用场景，将模型部署在本地成为了一种常见的选择。本文将详细介绍如何使用LangChain框架来调用本地部署的Ollama大模型，具体来说是如何调用Qwen模型。未来，随着更多模型的支持和技术的进步，这种方式将会变得更加普遍和高效。通过Ollama，开发者可以轻松地加载和运行不同的模型，而无需关心底层的技术细节。接下来，我们将展示如何使用LangChain中的Ollama类来创建一个模型实例，并通过它来获取Qwen模型的响应。LangChain简介。

LangChain封装本地Qwen2.5LLM

Yan_DaSheng的博客

11-10

741

首先必须重写“_llm_type”和“_call”这两个方法，这是官方规定的，_llm_type方法用于返回自定义大模型的类型，随便写就行。_call方法接收的参数是一个字符串（就是你的prompt信息）和一些可选的停止词，返回值是一个字符串（就是自定义的大模型的输出值）。着重注意的是：_call方法内部调用自定义大模型产生输出的逻辑是要自己定义的。langchain, langchain_community, langchain_core, transformers等。

LLM-4-Langchain-Chatchat

qq_15821487的博客

08-23

568

模型openai api接口服务：两种模型一致是纯open ai的接口方式，一种是open ai的接口和langchain融合的方式，对外都是以openai的接口规范。服务依赖一次是：webui接口服务》api接口服务》模型openai api接口服务》模型控制器接口服务》模型接口服务。api接口服务：本项目的api，融合向量模型，向量库，数据处理和langchain的接口。模型控制器接口服务：控制模型接口的分发。模型接口服务：语言模型的直接输入和输出。webui接口服务：和用户交互。

langchain_openai的ChatOpenAI调用ollama多模态模型

龙尧的博客

07-22

2583

ChatOpenAI调用ollama多模态模型

AI大模型企业应用实战：Prompt让LLM理解知识

2401_84204413的博客

06-25

2629

LangChain之ChatModel：基于LangChain框架中的ChatModel的功能简介、各种ChatModel的增强功能列表(是否支持，异步/流式/工具调用/结构化输出)之详细攻略

头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀

04-15

2416

LangChain之ChatModel：基于LangChain框架中的ChatModel的功能简介、各种ChatModel的增强功能列表(是否支持，异步/流式/工具调用/结构化输出)之详细攻略目录 ChatModel聊天模型 ChatModel聊天模型特性（原生支持）：异步、流式、批量所有聊天模型都实现了Runnable接口，该接口带有所有方法的默认实现，即ainvoke、batch、abatch、stream、astream。这使得所有聊天模型都能基本支持异步、流式传输和批量处理，默认

Linux Win 10 Windows CPU上安装Ollama 0.2.7 部署大模型qwen2 7b/15b llama3 配置启动 LangChain-ChatChat 0.2.7进行对话

数据科学汇集

07-13

1660

Win 10 Window安装Ollama部署qwen2 7b LangChain-ChatChat环境说明Win 10。

【AI提升】AI利器Tool Call/Function Call(一):langchain+ollama+llama3/qwen2

旭日跑马踏云飞的专栏

06-28

3940

使用AI的一个常用场景就是，接收人类的语言，识别人类的意图，最终进行相关的业务处理，这就是设计Tool Call / Function Call的初衷。现在一般都说Tool Call，以前常叫Function Call，不要纠结。

LLMs之RAG：LangChain-Chatchat(一款中文友好的全流程本地知识库问答应用)的简介(支持 FastChat 接入的ChatGLM-2/LLaMA-2等多款主流LLMs+多款embe

热门推荐

08-27

1万+

LLMs之RAG：LangChain-Chatchat(一款中文友好的全流程本地知识库问答应用)的简介(支持FastChat 接入的ChatGLM-2/LLaMA-2等多款主流LLMs+多款embedding模型m3e等+多种TextSplitter分词器)、安装(镜像部署【AutoDL云平台/Docker镜像】，离线私有部署+支持RTX3090 ，支持FAISS/Milvus/PGVector向量库，基于LangChain 框架+FastAPI的API调用服务+Streamlit 的WebUI操作

Qwen构建本地知识库

01-21

### 使用Qwen构建本地知识库 为了使用Qwen创建和管理本地知识库，需遵循一系列配置流程来确保环境设置正确并能高效运行。当基于LangChain-Chatchat、Ollama以及Qwen2-7b搭建本地私有中文知识库时，在Ubuntu环境下操作可以完全依赖于CPU资源完成部署工作[^1]。 #### 创建项目文件夹与初始化Chatchat 首先建立一个新的目录用于存放所有相关数据，并进入此目录内通过执行`chatchat init`命令来进行必要的初始化动作。这一步骤会准备所需的初始结构以便后续能够顺利集成其他组件。 ```bash mkdir my_knowledge_base && cd $_ chatchat init ``` #### 安装Python库为保障系统的稳定性和兼容性，推荐更新至最新的Python包版本。可以通过Pypi官方源或者清华大学镜像站获取这些软件包，从而加快下载速度并提高安装成功率。对于国内用户来说，选择后者通常更为便捷有效。 ```bash pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple/ pip install langchain chatchat ollama qwen -i https://pypi.tuna.tsinghua.edu.cn/simple/ ``` #### 配置Qwen模型参数针对Qwen的具体应用情况调整相应的超参数设定非常重要。考虑到性能优化方面的需求，尤其是在仅有CPU支持的情况下，合理规划batch size、sequence length等关键属性有助于提升整体效率而不至于过度消耗计算资源。 #### 加载预训练模型利用已有的Qwen2-7b权重文件加载预先训练好的语言模型实例。这一过程涉及指定路径指向存储位置，并调用适当API接口实现无缝对接。具体方法取决于所选用框架所提供的功能特性。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name_or_path = "path_to_qwen_2_7b" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForCausalLM.from_pretrained(model_name_or_path) ``` #### 构建索引机制为了让查询请求更快速地返回匹配项，有必要建立起一套高效的检索体系。这里可能涉及到倒排列表、TF-IDF加权策略或是更加复杂的向量空间模型的选择。根据实际应用场景的不同做出最合适的决定至关重要。 #### 测试与验证最后但同样重要的是进行全面的功能测试以确认整个架构能否正常运作。输入多样化的样本集作为检验材料，观察输出结果是否符合预期目标；同时也要关注响应时间指标，确保用户体验达到满意水平。