LangChat实战DeepSeek-R1模型

LangChat如何接入DeepSeek-R1模型

本教程给使用LangChat的朋友学习如何本地部署DeepSeek-R1模型。以及如何使用LangChat的Agent功能构建知识库。

关于LangChat

LangChat 是Java生态下企业级AIGC项目解决方案，集成RBAC和AIGC大模型能力，帮助企业快速定制AI知识库、企业AI机器人。

支持的AI大模型： Gitee AI / 阿里通义 / 百度千帆 / DeepSeek / 抖音豆包 / 智谱清言 / 零一万物 / 讯飞星火 / OpenAI / Gemini / Ollama / Azure / Claude 等大模型。

• 官网地址：http://langchat.cn/

开源地址：

• Gitee：https://gitee.com/langchat/langchat
• Github：https://github.com/tycoding/langchat

安装DeepSeek-R1

DeepSeek-R1是由DeepSeek公司推出的开源大模型，目前最强的低成本推理模型。

注意： 这里仅介绍使用Ollama部署DeepSeek-R1模型，其他模型的部署方式可以参考官方文档。

基础概念

首先，必须给大家介绍一些基础的概念，避免大家有各种疑惑。

1. Ollama是安装模型最简单的方式，不需要python、Docker以及其他复杂的过程。
2. 无论本地安装DeepSeek-R1的哪个模型，其实区别都不大，因为都是阉割版的，所以大家不要被营销号带偏。
3. Ollama的run命令执行后，首先会检查本地有没有此模型，有就安装，没有就直接运行模型。（Ollama客户端兼容全平台，不是非要Linux服务器）
4. Ollama的run启动模型后会暴露 11434 HTTP端口，其他所有的LLM OPS应用都是通过此端口和模型交互的，你可以访问 http://127.0.0.1:11434 查看
5. DeepSeek-R1是推理模型，Embedding模型需要单独安装，这两者不是一个概念，如果需要知识库向量化，不应该用DeepSeek-R1
6. …

DeepSeek-R1下载哪个版本？

实际上，本地测试而言，无论你下载哪个版本，最终的效果都是一样的。因为都是阉割版的小参数模型，所以我推荐各位安装 1.5B 或者 7/8B 测试即可。真实的场景下，还是推荐调用API。

Ollama地址：https://ollama.com/library/deepseek-r1

image-20250211164354673

注意：

运行 ollama run deepseek-r1 命令默认安装的 7B 版本。

1. 1.5B 模型，基本上任意笔记本都能安装
2. 7/8B 模型，至少本地电脑有16G内存
3. 14B以上模型，至少本地电脑有32G内存

作者本地电脑是 Macbook m3 16GB + 512版本

1. 安装Ollama

Ollama官网地址 https://ollama.com/

image-20250211164855062

这里会根据你的操作系统下载对应的安装包

安装Ollama的步骤这里就不再解释了

2. 安装DeepSeek-R1

如果你本地电脑是 >=16G内存，就用默认的安装命令，否则建议安装1.5B小模型

image-20250211165252956

因为作者是16G笔记本，所以这里直接按照默认的下载7B模型

正常情况下，如上图所示，本地电脑就已经安装好了DeepSeek-R1模型。

3. 验证DeepSeek-R1模型是否启动

如上，你可以在控制台直接交互。

另外本地访问 http://127.0.0.1:11434 地址，能看到如下信息：

image-20250211170217736

启动LangChat

注意：LangChat至少需要以下环境：

1. MySQL8
2. JDK17+
3. PgVector等

开源地址：

• Gitee：https://gitee.com/langchat/langchat
• Github：https://github.com/tycoding/langchat
• GitCode: https://gitcode.com/LangChat/LangChat

首先本地IDEA打开LangChat项目（等待Maven加载完成）

image-20250211170424610

1. 执行数据库脚本

image-20250211170540137

在docs/目录下找到langchat.sql 在MySQL中执行此脚本。

注意： 此脚本包含了创建名为langchat的数据库（因此不需要手动创建数据库）

2. 修改配置文件

首先你应该检查SpringBoot的application-*.yml配置文件

image-20250211170752880

必须修改：

1. MySQL连接信息
2. OSS信息（默认的local代表了使用tomcat的地址，当然建议使用阿里云或七牛云，或者本地用NGINX搭建本地文件服务器）

3. 安装PgVector

这里我只推荐Pgvector，不要用Redis，Pgvector可以用navicat等工具可视化查看数据表

Pgvector官方仓库：https://github.com/pgvector/pgvector?tab=readme-ov-file#installation-notes—windows

Postgres官网：https://postgresapp.com/downloads.html

注意：安装Pgvector后仍需要有Postgres 15+基础环境。所以如果你是第一次安装，你需要安装两者才行。

image-20250211171529888

因为我使用的Mac，所以有多种安装方式，如果不想麻烦可以用Docker

image-20250211171648413

作者贴心的给大家编译了一个pgvector发布到了阿里云仓库，直接运行此compose也可启动，省去了上麦那一系列步骤

如果上面脚本执行成功，应该在数据库能看到langchat

image-20250211171821785

注意：

1. 如果是自己手动安装的Pgvector，请手动创建langchat数据库
2. 尽量不要自己手动编译pgvector源码，太麻烦了

4. 运行LangChat

上述配置完毕后，即可正常启动LangChat

image-20250211172222107

启动成功后如上图，注意 当前环境是什么就代表用了哪个配置文件

运行langchat-ui

image-20250211172348017

测试LangChat

首先进入到LangChat此页面

image-20250211172719346

因为我们使用的Ollama部署的DeepSeek-R1模型，因此必须使用Ollama配置

1. 模型版本写： deepseek-r1
2. BaseUlr写：http://127.0.0.1:11434/
3. ApiKey任意填

image-20250211172945369

测试LangChat聊天功能

到此为止，DeepSeek-R1模型已经启动并配置好，我们先测试Chat基础功能

image-20250211173131416

image-20250211173310009

如上，接口已经掉通了。

注意： ``是DeekSeek-R1的推理过程，因为他是非标准的数据格式，后面LangChat会做前端适配

配置LangChat知识库

首先你需要安装好Pgvector和OSS

1. 配置向量数据库

image-20250211173652563

注意！注意！注意！

建议不要修改向量维度这个参数，向量数据表一旦初始化，此表的向量维度就固定了，只能接受指定向量的数据，因此仅在LangChat前端修改是无效的（需要删除原表）

2. 本地下载Embedding模型

当然我建议大家直接使用阿里云、百度、智谱的Embedding模型，这样只需要配置ApiKey即可，但是很多朋友可能还想想本地部署，这里教大家。

同样，使用Ollama下载Embedding模型

进入官网：https://ollama.com/search?c=embedding 我们找到排名第一的Embedding模型

image-20250211204936831

执行命令 ollama pull nomic-embed-text

image-20250211205200587

image-20250211205253605

如上结果，Ollama模型很小，很快运行结束，但是不要尝试执行ollama run xxx，因为run命令是针对Chat模型的，这里是Embedding模型

Ollama Pull 了Embedding模型就自动启用了，不需要任何其他命令加载

我们可以通过ollama list查看到下载的模型

image-20250211205634137

3. 测试Embedding模型

执行如下脚本

curl http://localhost:11434/api/embeddings -d '{
  "model": "nomic-embed-text",
  "prompt": "The sky is blue because of Rayleigh scattering"
}'

image-20250211205831626

如上说明Embedding模型正在运行，并且模型名称是nomic-embed-text，访问地址是：http://localhost:11434/api/embeddings

4. LangChat配置Embedding

image-20250211210510117

• 模型版本填 nomic-embed-text （Select中输入并回车即可）
• BaseUrl填写：http://localhost:11434/

5. 创建LangChat知识库

知识库中只关联Embedding数据库和Embedding模型

image-20250211210743993

6. 导入知识库文档

在上面配置好nomic-embed-text模型后，往知识库导入文档

image-20250211220225536

如果你是按照上面步骤的Embedding模型，你应该会收到如下向量化失败错误：

image-20250211220330043

为什么报错ERROR: expected 1024

因为我们在LangChat配置的 1024向量纬度 的数据库，所以生成的表也只接收1024维度的数据。

但是， nomic-embed-text 模型只能生成768维度的数据，并不是生成1024维度的数据（当然如果你使用公有云模型，他们的模型一般都能支持生成多维度的数据768、1024、1536等等）

只不过我们下载的模型只支持生成单维度的向量数据。

image-20250211221101301

从上表中你可以查看到不同模型能生成什么维度的数据。

例如阿里云的文档中，关于Embedding模型的定义如下：（你在最初阶段就应该考虑哪种模型兼容哪种向量维度）

image-20250211225113717

遇到这种情况怎么处理？

无论用的哪个模型，如果向量维度一旦不匹配，就必然会出现类似此报错信息。按照如下步骤开始解决此问题：（我们的前提是仍用本地的Embedding模型，当然你换一个能输出1024维度的Embedding模型也是可以的）

1. 使用如Navicat等客户端工具删除langchat库中的表

image-20250211225400733

1. 在LangChat管理端修改 向量数据库的纬度配置 ，如下修改为768维度

image-20250211230358598

1. 重启LangChat后端项目，系统会重新生成此表，并接收768维度的向量

正常情况，重启后，我们就可以重新导入文档进行向量化了。

7. 重新导入知识库文档

我们准备如下这个txt文档

image-20250211231626120

正常情况，后端会提示向量化成功，会有如下日志：

image-20250211232040168

在向量数据库中，能看到如下分段信息：

image-20250211231945871

8. 向量搜索测试

正常情况，如果向量化成功，你能在LangChat页面看到如下切面信息：

image-20250211232251955

那我们进行一下向量检索测试：

image-20250211232340080

到此为止，LangChat知识库配置已经结束

创建LangChat AI应用

上面知识库配置成功后，下面开始创建LangChat AI应用

image-20250211232536523

如下所示创建AI应用，这里进需要关联我们刚才设置的DeepSeek-R1模型

配置LangChat应用

创建LangChat应用后，关联刚才创建的知识库，即可进行知识库问答了

image-20250212112844178

关联好我们创建的知识库后，直接测试就能引用知识库的内容了

测试LangChat应用

image-20250212113128034

如上，说明了他刚才引用了我们上传的langchat.txt文档

验证是否查询向量文本？

验证此回答是否查询了知识库的向量信息？

1. 我们可以在控制台看到如下打印日志：

image-20250212113459881

后面的部分就是引用的知识库文档

1. 可以拿未配置知识库的普通聊天做测试

image-20250212113735608

可以看到未配置知识库，是不知道LangChat是什么的。

DeepSeek无疑是2025开年AI圈的一匹黑马，在一众AI大模型中，DeepSeek以低价高性能的优势脱颖而出。DeepSeek的上线实现了AI界的又一大突破，各大科技巨头都火速出手，争先抢占DeepSeek大模型的流量风口。

DeepSeek的爆火，远不止于此。它是一场属于每个人的科技革命，一次打破界限的机会，一次让普通人也能逆袭契机。

DeepSeek的优点

掌握DeepSeek对于转行大模型领域的人来说是一个很大的优势，目前懂得大模型技术方面的人才很稀缺，而DeepSeek就是一个突破口。现在越来越多的人才都想往大模型方向转行，对于想要转行创业，提升自我的人来说是一个不可多得的机会。

那么应该如何学习大模型

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把都打包整理好，希望能够真正帮助到大家。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈
光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈
观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】