利用ollama + RAGFlow部署deepseek

1 安装ollama

执行命令:curl -fsSL https://ollama.com/install.sh | sh

2、查看ollama状态

systemctl status ollama

3、配置ollama环境变量

vim /etc/systemd/system/ollama.service

添加环境变量

Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*" # 跨域处理
Environment="OLLAMA_MODELS="/opt/ollama/models"

4、重启服务

systemctl daemon-reload

systemctl restart ollama.service

5、部署deepseek模型

可以使用ollama pull 命令下载deepseek模块,也可以使用ollama run 运行模型(未下载会首先下载)。

ollama run deepseek-r1:xxxb

6、配置docker 镜像源

1)设置镜像源:

"https://docker.m. daocloud. io/",
"https://huecker.io/",
"https://dockerhub.timeweb.cloud",
"https://noohub.ru/",
"https://dockerproxy.com",
"https://docker.mirrors.ustc.edu.cn",
"https://xx4bwyg2.mirror.aliyuncs.com",
"http://f1361db2.m.daocloud.io",
"https://registry.docker-cn.com",
"http://hub-mirror.c.163.com"

2)重启docker

systemctrl daemon-reload

systemctrl restart docker.service

7、安装ragflow

1)下载:

使用命令下载:git clone https://github.com/infiniflow/ragflow.git

后者直接登录url手动下载。

2)配置

修改docker目录下的 .env ,进行参数配置:

注销 RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0-slim

使用 RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0

3)运行安装命令

docker compose -f ./docker/docker-compose.yml up -d

7、使用ragflow创建知识库

打开电脑自带的浏览器,访问http://localhost:80/,进行注册

完成之后就登录即可

这里可以设置成中文。

点击右上角的头像,点击【模型提供商】

找到ollama,点击【添加模型】

模型类型选择chat,win+r,输入cmd,输入命令ollama list,查看自己安装模型名称,复制然后输入到模型名称,基础url,输入http://自己的ip地址:11434。最后点击【确定】按钮。

如何查看自己的ip地址?win+r,输入cmd,输入命令ipconfig,根据下图标红的进行查看

再点击【系统模型设置】

选择刚才添加的模型,然后点击确定

回到知识库界面,点击【创建知识库】,

输入知识库名称,例如:java面经

然后配置知识库,把语言改成中文

选择好相应的嵌入模型和解析方法。

点击【数据集】,再点击【新增文件】,上传文件,有点慢,哈哈哈

上传完成之后,对文件进行解析,解析速度与文件大小和电脑的内存大小有关。

解析完成之后,点击上面的【聊天】按钮,新建助理

填入相关信息、选择好相应的知识库,点击确定。

输入你想问的问题,这样一个知识库就完成了

### 关于 Dify、RAGFlowDeepSeek 的集成 #### 什么是 Dify? Dify 是一种用于构建和部署 AI 应用程序的工具,支持多种大语言模型 (LLM) 的集成。它允许开发者通过简单的配置文件快速设置本地知识库并调用远程 LLM 接口[^1]。 #### 什么是 RAGFlow? 虽然未提供具体关于 RAGFlow 的引用资料,但从其名称推测,RAGFlow 可能是一种基于检索增强生成(Retrieval-Augmented Generation, RAG)的工作流框架。这种技术通常结合向量数据库和大型语言模型来提高问答系统的准确性与效率。 #### 什么是 DeepSeekDeepSeek 提供了一系列高性能的大规模预训练语言模型以及相应的开发资源和支持服务。用户可以通过访问其开放平台获得 API 密钥以便将其强大的建模功能嵌入到自己的应用程序当中[^2]。 #### 如何实现三者的集成? 要将这三个组件结合起来使用,可以遵循以下方法论: ##### 步骤一:准备环境 确保安装好 Python 环境以及其他必要的依赖项。对于 Dify 来说,可以从它的官方网站下载最新版本或者按照官方文档指示完成初始化过程。 ```bash pip install dify-cli ``` ##### 步骤二:连接至 DeepSeek 模型 利用DeepSeek 获取的 API Key 设置好认证机制之后,在项目目录下创建一个新的 `.env` 文件用来存储敏感数据如密匙等信息: ```plaintext DEEPSEEK_API_KEY=your_api_key_here ``` 接着修改 `config.yaml` 或者其他形式的应用配置文件指定所使用的 LLM 类型为 DeepSeek 并填入相应参数值。 ##### 步骤三:引入 RAG 流程 如果计划采用类似于 RAG 的架构,则需额外加入矢量储存解决方案比如 Pinecone 或 Milvus 。这些工具有助于高效管理非结构化文本数据从而提升查询性能。与此同时调整现有代码逻辑使其能够先执行相似度匹配再传递给最终的语言理解模块处理输入请求[^3]. 请注意这里假设存在某种形式的支持 RAG 功能插件可供选用;如果没有现成选项则可能需要自行编码实现整个流程控制环节。 ##### 示例代码片段展示如何加载模型并通过 RESTful 请求发送消息给后端服务器进行推理计算操作: ```python import requests def query(payload): response = requests.post( url="http://localhost:8000/api/v1/generate", headers={"Authorization": f"Bearer {os.getenv('DEEPSEEK_API_KEY')}"}, json=payload ) return response.json() payload = { "inputs": ["Tell me about artificial intelligence."], "parameters": {"max_new_tokens": 50} } result = query(payload) print(result['generated_text']) ``` 上述脚本展示了怎样借助 HTTP 协议交互方式调用远端托管的服务实例来进行自然语言生成任务[^4]。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

men_nang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值