公司内网部署离线deepseek本地模型实战

企业内部可能有些数据比较敏感,不能连接互联网。使用deepseek来提高工作效率,这个时候你可以利用ollama在内网本地部署来实现。

本实验是先在自己电脑上用虚拟机部署好,再用U盘把虚拟机文件复制到内网去。

一、使用VMware新建WIN2022虚拟机

(本步骤省略)

二、使用ollama部署本地LLM模型

  1. 下载ollama
    官网https://ollama.com/下载自已电脑对应的ollama 版本。

在这里插入图片描述
在这里插入图片描述
下载太慢的请看这里,我用移动的宽带下特别快
两个文件下到同一目录,用360解压缩
https://download.youkuaiyun.com/download/xzzteach/90571904
https://download.youkuaiyun.com/download/xzzteach/90571885

  1. 安装ollama

注意:
Ollama安装包默认只能安装到C盘,Ollama本身大概会占用4GB左右;
如果大家都C盘空间充足的话可以直接双击打开安装包点击安装即可;
建议将Ollama安装包放到想要安装的路径下,本实验安装在 D:\Ollama

  1. 在安装文件目录中进入CMD

在这里插入图片描述
2. 输入安装指令

OllamaSetup.exe /DIR=D:\Ollama

在这里插入图片描述
在这里插入图片描述

  1. 本地部署DeepSeek
    选择模型并下载
    打开Ollama官网,点击顶部的Models链接,此时我们就会看到deepseek-r1模型排在第一位,如下图所示:

在这里插入图片描述

这里以14B模型为例(推荐使用移动宽带这样下载快一些)

ollama run deepseek-r1:14b

在这里插入图片描述

在这里插入图片描述
4. 搭建个人知识库
输入指令

ollama pull shaw/dmeta-embedding-zh

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

  1. 安装python3.11
    https://download.youkuaiyun.com/download/xzzteach/90572963
  2. 安装Open WebUI
pip install open-webui -i https://mirrors.aliyun.com/pypi/simple/
  1. 启动Open WebUI
open-webui serve

启动后,你可以通过访问 http://localhost:8080来访问 Open WebUI 的 Web 界面,如果需要其他电脑访问,将以上localhost改为服务器IP地址。

首次访问 Open WebUI 时,你将会看到一个登录界面。在这个界面上,你需要创建一个管理员账号。输入必要的信息后,你将能够访问管理员面板,进行模型管理和 API 配置。

在这里插入图片描述
在管理员面板中,你需要配置 Ollama 的 API。点击相应的设置选项,输入你安装 Ollama 时生成的 API 地址和密钥。确保配置正确,这样 Open WebUI 才能成功连接到 Ollama 并调用 Deepseek-R1-14b 模型进行推理。
在这里插入图片描述

二、将C盘知识库存入D盘

在这里插入图片描述
在这里插入图片描述
C:\Users\Administrator\AppData\Roaming\CherryStudio链接至D:\CherryStudio

将C:\Users\Administrator\AppData\Roaming\CherryStudio整个目录剪切至D盘

输入如下命令

mklink /D "C:\Users\Administrator\AppData\Roaming\CherryStudio" "D:\CherryStudio"

在这里插入图片描述

### DeepSeek 应用本地部署后的内网 IP 访问配置 对于已经完成本地部署DeepSeek 应用程序,在局域网环境中使其他设备能够通过内网 IP 进行访问,主要涉及以下几个方面的网络设置调整。 #### 1. 修改应用程序监听地址 默认情况下,某些应用程序可能仅绑定到 `localhost` 或者特定的外部接口。为了确保局域网中的其它设备可以连接至该服务器,需修改 DeepSeek 的配置文件使其监听所有可用网络接口或指定内部 IP 地址[^2]。 ```bash # 假设 deepseek 使用的是 Python Flask 框架作为 Web API 接口,则可以在启动命令中加入如下参数: python app.py --host=0.0.0.0 ``` 上述操作使得 DeepSeek 可以接受来自任何 IP 地址发起的请求,而不仅仅局限于本机回环地址(`127.0.0.1`)。 #### 2. 开放防火墙端口 如果操作系统上启用了防火墙服务,则还需要开放相应的 TCP 端口号以便让外界流量进入并到达目标进程。这通常涉及到更新系统的安全组策略或是直接编辑 iptables 规则来允许特定范围内的入站连接。 ```bash sudo ufw allow 80/tcp # 如果 web api 是运行在标准 HTTP 协议上的第 80 端口 sudo systemctl reload ufw ``` 此步骤确保了即使 DeepSeek 正确设置了监听选项,也不会因为被阻挡在外围防护之下而导致无法正常通信的情况发生。 #### 3. 设置路由器转发规则 (可选) 当希望从互联网侧也能间接触及位于私有子网下的 DeepSeek 实例时,就需要考虑 NAT 路由器层面的操作——即端口映射(Port Forwarding),将广域网(WAN)入口指向具体的 LAN 内部机器及其对应的服务端口。不过这一部分并非严格意义上的“内网”范畴,而是针对更广泛的远程接入场景所作准备。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值