需要在本地安装ollama和docker,并且配置dify,最后通过dify访问本地的deepseek,可以通过向本地配置deepseek的端口发请求并解析结果实现自定义页面的需求。
我本地配置,算是比较拉胯,结果还是比较丝滑的,内存和显卡配置拉高点,自己用就足够了。商用要考虑压力自行升级。
一、docekr本地安装并部署
1. 下载,省点事,后面能贴图就不打字了
二、ollama安装
点击安装就完事了。这个不用配置,安装完成后可以在cmd命令栏看一下是否在运行
三、deepseek安装,本地版
1. 版本根据需求随便选,选完复制一下右边的代码,我配置太低选的最低的1.5b。有条件可以拉高点,让deepseek推荐下配置就好
2. 选好后复制右边的代码到cmd控制栏输入即可,第一次执行是安装,后面再执行就是启动了
- 这是本地化安装的,未联网的笨比deepseek。问他问题会乱答。接下来要配置数据库
四、安装dify,给deepseek配置知识库用
1. 下压缩包就好了。
2.下载完成找个目录解压
3. 进入下面的目录。把.env.example文件改成.env
4. 打开.env在最下面加两行代码
CUSTOM_MODEL_ENABLED=true
OLLAMA_API_BASE_URL=host.docker.internal:11434
- 运行dify 选中目录,输入cmd打开命令栏
打开命令后输入命令执行安装
docekr compose up -d
可以打开docker看一看是否安装成功
五、使dify关联deepseek,即配置数据库
1.本地地址登录进去会发现现在已经变成dify的后端页面了,注册一个邮箱并登录。
2.配置里面配置模型和数据库
1 进入设置
2 选择系统模型设置,添加安装的模型,第一次进来应该是空的,搜索ollama选择添加模型就好
3.点击添加会跳出下面的页面,模型名称就是ollama安装的时候的模型名称,url就是.env文件最下面那行,前面加上http://即可 即下面这个。完成后保存
http://host.docker.internal:11434
4.刷新页面,重新进入设置中,如果之前没有系统推理模型现在应该有了。下面那个模型暂时忽略。选择推理模型后保存。
5. 创建应用 回到最初的app页面,创建空白应用选择聊天助手
随便起个名字创建
选择模型,然后调试一下。这里左边还可以配置一些回复,暂时用不到。这种属于自定义回复的内容了。
6.配置知识库
1.这时候问他问题会发现由于没有知识库他会瞎回答。给配个知识库吧
点击上方的知识库部分
点击创建知识库。选择导入文本,我文本随便填的内容。
我文本内容如下
回到刚才的页面,知识库那里点击添加并选中刚才新增的文本
在问他一样的问题,他会解析文本并且给出回复
六、deepseek配置链接官网
这个其实比较简单。回到模型供应商那里,添加deepseek,然后输入apikey和官网链接就好了
1.搜索deepseek并安装
2.输入官网的apikey和链接
3.创建模型并选则deepseek
4.调试
七、通过api访问。
模型最下面其实就有访问api的教程,默认是按流给的解析。自行探索下吧。