基于Windows系统本地deepseek的本机调用和内网跨终端调用

Windows Deepseek本地部署
1.Windows 本地调用
A.本地CMD调用,在本地CMD端口通过输入ollama list查看已经安装的大模型name 然后复制名字输入ollama run 模型name 如下图所示。
在这里插入图片描述

B.通过三方开源软件调用本地模型,在部署模型的电脑上,安装三方调用软件,如Cherry Studio、Chatbox、anythingLLM等,然后在连接时候API地址填写127.0.0.1:11434 不同调用软件连接方式基本相同,参考如下方式即可。

一.Cherry Studio 连接如下图
在这里插入图片描述
在这里插入图片描述

二.Chatbox 连接如下图
在这里插入图片描述
在这里插入图片描述

2.内网间跨设备调用
A. 在部署端防火墙出入站规则中运行11434端口,允许
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

B.连接软件的API地址中输入部署设备IP:11434 进行调用,如上本地调用的的地址换成下图即可,假设部署电脑IP是XX.XX.XX.XX,API地址为http://XX.XX.XX.XX:11434

在这里插入图片描述
在这里插入图片描述

### 如何选择适合本地部署DeepSeek 32B 版本 #### 配置要求 对于DeepSeek 32B版本的大语言模型,为了确保其能够稳定且高效地运行于本地环境之中,硬件与软件方面有着特定的要求。 - **硬件需求** 推荐配置为具备最新款Intel/AMD CPU或NVIDIA显卡的服务器,其中内存建议至少64GB以上,考虑到该模型较大的体积以及运行过程中可能产生的临时数据存储需求;存储则应选用SSD固态硬盘来容纳大约20GB大小的模型文件,并留有足够的剩余空间以保障系统的正常运作;另外,由于涉及到网络通信部分的操作,因此还需处于企业内网环境下并适当调整防火墙规则以便顺利访问外部资源[^2]。不过,基于更广泛的适用性考量,最低配置可以放宽至支持AVX2指令集的CPU加上16GB内存30GB存储,而理想状况下则是配备有NVIDIA RTX 3090及以上级别的GPU设备、32GB内存及50GB以上的可用磁盘容量[^1]。 - **软件依赖** 支持的操作系统包括但不限于Windows、macOS或是Linux发行版(如CentOS 7.9+/Ubuntu 20.04+)。除此之外,还需要搭建Python 3.8+的开发环境,并安装诸如PyTorch、transformers等相关库来满足框架层面的支持。当考虑使用Open Web UI时,则额外需要事先准备好Docker容器化平台用于简化后续的服务启动过程。 #### 安装指南 针对希望采用DeepSeek 32B版本构建私有的AI助手解决方案这一目标而言,具体操作步骤如下: ##### 准备工作 确认已按照上述提到的标准完成了必要的软硬件准备工作之后,就可以着手准备下载所需的模型权重文件了。可以从ModelScope 或 Huggingface这两个官方渠道获取到对应的预训练模型包。 ##### 执行命令 通过终端执行一系列脚本来完成整个项目的初始化设置,例如创建虚拟环境、激活它、更新pip工具链、批量安装项目所需的各种第三方扩展包等动作。下面给出了一段简单的Python代码片段用来展示这部分逻辑实现方式: ```bash # 创建一个新的虚拟环境名为deepseek_env python3 -m venv deepseek_env # 激活此新建立起来的虚拟环境 source ./deepseek_env/bin/activate # 升级pip至最新版本 pip install --upgrade pip setuptools wheel # 根据requirements.txt文件中的列表项依次拉取所有必需品 pip install -r requirements.txt ``` 最后一步就是依据官方文档指示加载之前已经获得的那个压缩包形式存在的模型实例对象,并将其注册进当前会话当中供调用者随时发起请求查询之用。这通常涉及到了解压归档文件夹结构体内的各项资产位置关系图谱,再借助专门设计出来的API接口函数来进行实际映射关联处理。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Hello World

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值