本地部署Deepseek+springAI 上（模型部署私有化，生成api|key）-优快云博客

一、介绍

将在本地部署Deepseek，然后使用Spring调用，spring调用过程中会结合业务，调用相关的业务接口，让其更好的衔接，就以我之前废弃的一个工单系统做一下案例吧，

工单系统：可以动态创建工单模板，然后根据模板进行工单的创建工作，有工单可以查看历史工单记录以及签名水印，审核打回等效果；

理想状态，基于这个工单系统，加出一个聊天文本，然后可以通过AI去创建工单，读取和搜索工单内容（这个估计就要把工单的信息使用向量数据库打入到大模型了，但是工单变了或者删除了这个就要思考一下了；或者通过调用接口去找我要这个工单的信息，但是因为我属性都是岔开的，可能需要出现变更数据，这样就更麻烦了，先TODO一波），以及审核工单、打回工单（工单模板的创建就够呛了，）所以说需要用ai去实现

二、本都部署

1.本地环境

在这里插入图片描述

2、开始

（就不对大模型的数据进行训练调优，直接使用开放出来的大模型进行部署）

大模型管理平台

大模型管理平台：Ollama(下载可能需要科学一下，或者可以上github上拉一下)，下载地址github.com

在这里插入图片描述

exe文件直接一直下一步就ok了，然后cmd验证一下

在这里插入图片描述

，这味道就很对了

环境变量配置：0.0.0.0:1134（前面是代表本机，后面是运行ollama的默认端口，另一个是下载的路径，可不配）

在这里插入图片描述

拉取模型，类似于docker，这里就以deepseek为例子了，也可以选其他模型，

在这里插入图片描述

然后去cmd粘贴这个命令就好了，这个比较慢，科学一下会好一点，选版本的时候一定要注意内存，像上面的图片404G下载下来之后，就要你404G的内存，我丢，这么算需要5张A100的卡，都是资本的味道，还好不是我的流量

在这里插入图片描述

坏了，太大了，这个整不了，拉个机械硬盘顶顶，一晚上啥也不用干了
在这里插入图片描述

,补充一下吧，设置保持路径最好重启一下，不然好像不生效（去任务管理器结束ollama进程，然后再重新启动）：

在这里插入图片描述

下载完后，就可以运行他了（运行命令后需要跑大概2分钟），示例

在这里插入图片描述

接下来就要是按照个人要求去训练这个模型了，也就是添加他的知识库

docker

可以服务器安装一下docker

apt install docker

apt install docker.io

docker ps

在这里插入图片描述

接下来就去github上拉一下项目infiniflow/ragflow: RAGFlow is an open-source RAG (Retrieval-Augmented Generation) engine based on deep document understanding.,或者可以用其他方法下载了再导进去，

在这里插入图片描述

修改模型模式为对话

找到这个路径的这个文件（不放心可以备份一下），

在这里插入图片描述

进入这个文件靠中的位置，这是原文

在这里插入图片描述

修改为，注释对换一下：

在这里插入图片描述

然后运行命令：

docker compose -f docker/docker-compose.yml down -v

这个应该需要docker版本配合，我调了好一会，就放弃了，可以根据官网访问使用

在这里插入图片描述

接一下我用别的方法去外接一个

DofyAi

官网：https://cloud.dify.ai/

先登录一下，然后创建应用：

在这里插入图片描述

选默认的聊天机器人和起个名字

在这里插入图片描述

接下来编辑模型：

在这里插入图片描述

然后往下滑选择模型供应商（选择安装Ollama）
在这里插入图片描述

接下来就接入进去（这个需要官网ip，不然他访问不到）
在这里插入图片描述

，只能试着部署再本地，git一下他的代码，根据

拉去代码

git clone https://github.com/langgenius/dify.git

然后进到docker目录复制一份配置文件后运行，如果最后面的报错，可以替换为：docker-compose up -d，要确保安装了docker-compose,没安装就apt install docker-compose一下

cd dify
cd docker
cp .env.example .env
docker compose up -d

在这里插入图片描述

下载的比较久，可以去换一下源再编排容器，然后浏览器访问ip+/install

在这里插入图片描述

如果没启动成功，可以看看有没有全部启动：

在这里插入图片描述

注册完后登录进去

在这里插入图片描述

，参照之前去新建一下，这里需要注意一下，这个ollama的端口不一定是11434，我搞了半天原来是上面配的，最后还是看日志找出来的，好恶心，我这边是1143

在这里插入图片描述
可以使用MAXKB平台，这是其官方文档（https://maxkb.cn/docs/installation/online_installtion/）
简单介绍一下流程，可以将其作为AItoken数据中台，可以生成和管理key和token。
1、安装运行，根据官方安装即可，并没有什么卡顿
2、访问到平台上（开始是没有模型的）
在这里插入图片描述