DeepSeek本地部署与简单应用-优快云博客

我这里选择window本地部署ollama，linux安装Dify .简单运用一下deepseek-r1模型,因电脑资源有限只选择了参数为14b的R1.

访问 https://ollama.com/ 进入Ollama官网下载Ollama,要选择下载对应的操作系统版本即可(本次按照教程选择windows版本)

下载完成后的文件名为:OllamaSetup.exe 直接双击安装即可(傻瓜式安装,步骤省略),显示如下则为成功。

2.2 选择合适模型

Ollama run deepseek-r1:14b

yum -y install git.x86_64git clone https://github.com/langgenius/dify.git  (无法执行的可以离线下载)

unzip dify-main.zip -d ../module/cd /opt/module/dify-main/docker

3.2 进入指定路径下一键启动

cd dify/dockercp .env.example .envdocker compose up -d

执行完成,如下所示

http://192.168.242.198/ (我这里默认端口是80)

3.3 接下来是页面设置

填写信息(可以随便填,并不会真正发送邮件)

登录之后的页面

点击空白应用->聊天助手然后起一个自定义名称 wbigdata ->创建

然后添加连接ollama的配置

这里需要注意:

ollama 默认启动的监听端口为: 11434 ip为127.0.0.1 如果需要更改需要在环境变量中配置,否则上面配置会连接不上.

OLLAMA_HOST  0.0.0.0:11434OLLAMA_ORIGINS  *

测试聊天

RAG(检索增强生成)是一种先进的信息处理技术,它通过检索相关知识,向LLM提供必要的上下文信息,融入LLM的内容生成过程,提升回答的准确性和专业程度。当你上传内部文档或专业资料后,AI能够基于这些知识提供更有针对性的解答。

创建知识库并上传文档大致分为以下步骤:

1、创建知识库。通过上传本地文件、导入在线数据或创建一个空的知识库。

2、指定分段模式。该阶段是内容的预处理与数据结构化的过程,长文本将会被划分为多个内容分段。

3、设定索引方法和检索设置。知识库在接收到用户查询问题后,按照预设的检索方式在已有的文档内查找相关内容,提取出高度相关的信息片段供语言模型生成高质量答案。

4、完成上传，在应用内关联知识库并使用.

4.1 点击知识库选择导入文本

4.2 选择准备好文本本上传并设置(默认即可)

文本示例:

ttaga是什么?是我自己定义的内容,哈哈
你在想什么?想着测试你

4.3 与Ollama集成并测试问题

本人旨在分享hadoop相关内容,此为简单了解运用,内容来自B站学习,仅供参考.