Windows系统基于ollama+anythingLLM本地化部署deepseek

一、写在前面

    本方法对计算机硬件有一定要求,如本机硬件性能有限,可调用第三方api方式进行部署,操作文档稍后更新。

硬件参考图

二、下载、安装ollama

官网下载:打开ollama官网,点击Download,选择相应操作系统下载。如下载出现网络问题可使用百度网盘下载:
链接: https://pan.baidu.com/s/1Bc69x3N5Ey_egJt1aZ4Ecg?pwd=9jc5 提取码: 9jc5(OllamaSetup.exe),下载后按提示正常安装软件即可。

在这里插入图片描述
在这里插入图片描述
安装成功后无提示,系统右下角出现ollama图标即表示安装成功。
在这里插入图片描述

三、下载并运行deepseek-r1模型。

1.键盘键入win+R 键,输入CMD,点击确定或按回车键进入命令行。

在这里插入图片描述
2. 命令行中输入 ollama run deepseek-r1:14b,初次运行会自动下载模型并运行,其中14b为模型参数,目前deepseek主流模型参数为:1.5b、7b、8b、14b、32b、70b、671b。模型运行成功后如下图所示,此时可以在会话框中与deepseek进行交互。
下载并运行模型

四、下载anythingLLM,安装、配置

官网: https://anythingllm.com/desktop 下载或网盘:
https://pan.baidu.com/s/1fs8EnjXBwup6f3ZONOzVeg?pwd=pqj1 提取码: pqj1 下载,下载后双击安装软件,选择用户并单击下一步
在这里插入图片描述
选择安装目标文件夹,单击安装。
在这里插入图片描述
安装出现如下报错可忽视,点击确定即可。
在这里插入图片描述
点击:Get started,右侧下一步。
在这里插入图片描述
下滑选择ollama,右侧下一步。
在这里插入图片描述
持续下一步,直到输入工作区名称,下一步,即可开始体验与大模型交互。
在这里插入图片描述

五、anythingLLM知识库导入、配置修改说明

点击左下角设置图标
在这里插入图片描述
确认各项参数与下图一致,若不一致请按下图更正。
在这里插入图片描述
在这里插入图片描述
确认一致后单击左下角返回按钮回到首页,在相应工作区中将本地文件上传至大模型,即可进行提问测试。
在这里插入图片描述
接下来请开始探索您的大模型之旅吧~

### DeepSeekOllama、OpenWebUI 和 AnythingLLM 的局域网本地部署及调用方法 #### 部署准备 为了在局域网中成功部署和调用这些服务,需先确认基础环境已经搭建完毕。通常情况下,Ollama 是核心组件之一,它提供了轻量级的推理能力,并支持多种大型语言模型(LLMs)。以下是具体的部署流程: --- #### 1. 安装 Docker 并拉取 Ollama 镜像 Docker 是运行 Ollama 的必要工具。通过以下命令可以安装并启动 Ollama: ```bash docker pull ollama/ollama docker run -d -p 11434:11434 -v /data/ollama:/root/.ollama --name ollama ollama/ollama ``` 如果设备具备 GPU 支持,则可以通过 `--gpus` 参数启用 GPU 加速模式[^4]。 进入容器后可进一步下载所需的模型文件: ```bash docker exec -it ollama /bin/bash ollama pull deepseek-r1:8b ``` 上述操作完成后,Ollama 将作为 HTTP API 接口提供服务,默认监听端口为 `11434`。 --- #### 2. 使用 OpenWebUI 调用 Ollama OpenWebUI 是一款图形化界面工具,能够简化与 LLMs 的交互过程。其配置方式如下所示: - **克隆仓库**:从 GitHub 获取最新版本代码。 ```bash git clone https://github.com/open-web-ui/webui.git cd webui ``` - **修改配置文件**:编辑 `config.json` 文件以指定目标地址指向本地图形接口的服务路径。 ```json { "api_url": "http://<服务器IP>:11434", "model_name": "deepseek-r1" } ``` 此处 `<服务器IP>` 应替换为实际主机 IP 地址或域名。 - **启动 Web UI** ```bash npm install && npm start ``` 此时访问浏览器中的 URL 即可通过可视化界面对接至后台运行的 Ollama 实例。 --- #### 3. 添加 AnyThingLLM 插件扩展功能 AnyThingLLM 可视为一种增强型插件框架,允许开发者轻松集成第三方资源库或者定制专属逻辑模块。具体实现步骤包括但不限于以下几个方面: - 确定所需加载的功能集; - 编写适配器脚本来桥接不同平台间的数据流传输协议; - 测试最终效果验证兼容性和稳定性。 例如,在 Python 中创建一个简单的客户端程序用于发送请求给远程节点: ```python import requests url = 'http://localhost:11434/api/generate' payload = {"prompt":"hello world","max_tokens":50} response = requests.post(url, json=payload) print(response.text) ``` 以上片段展示了如何利用 RESTful APIs 来获取预测结果[^1]。 --- #### 总结说明 综上所述,整个工作流涵盖了从基础设施建设到高级特性开发等多个层面的内容。借助于现代化 DevOps 工具链的支持,即使是在缺乏专用硬件加速卡的情况下也能顺利完成任务需求[^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值