通过LM Studio本地私有化部署DeepSeek-R1模型,无网络也能用

打开LM Studio官网https://lmstudio.ai/

选择适合自己的操作系统,下载LM Studio安装包

本地电脑安装成功后运行LM Studio,顶部文本框输入deepseek,点击搜索模型

在搜索结果中选择7B参数模型,

如上图右侧提示“No result found”说明官方未直接提供deepseek gguf模型文件。

这时,我们需要自己到别处下载ds gguf文件,继续如下操作:

打开魔搭官网,https://modelscope.cn/

进入模型库,搜索deepseek-r1

选择deepseek-r1 gguf模型文件,根据你自己电脑的配置情况,选择大小合适的参数模型。(我选择了70亿参数的小模型)

点击下载模型文件,按提示命令操作(此步需要程序员操作)

按右侧窗口提示,选择正确的下载方式,这里需要下载独立的gguf文件保存到指定的文件路径。

Win+R 运行cmd 命令终端,请先确认pip(需要安装python环境)是否最新版本,否则先更新pip。

操作①,安装modelscope:pip install modelscope

安装过程中可能失败,提示:系统没有启用Windows长路径支持

win+R 运行regedit命令,打开系统注册表

找到以下位置:HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\FileSystem,找到LongPathsEnabled的条目,双击打开

“数值数据”文本框值改为1,确定保存即可。

再次执行①,成功!

执行②,通过modelscope命令下载gguf文件到指定目录。

可能遇到modul错误

解决办法是:pip install setuptools -U

成功后继续执行②,安装进行中

模型GGUF文件下载100%完成!

打开LM Studio客户端,我的模型》模型目录》更改,设置路径地址为gguf文件所在目录的上二级目录文件夹。

回到聊天对话框,选择最新的模型。

从此刻开始你和DS AI畅聊吧~(无网也能聊,数据又安全

### 如何手动下载 LM Studio 使用的大语言模型 #### 访问 Hugging Face 或镜像站点获取模型文件 为了成功地手动下载适用于 LM Studio 的大语言模型,访问 huggingface 官网或是其提供的镜像站点来获取所需的模型文件是一个重要的途径[^3]。 #### 浏览并选定目标模型 一旦进入网站,在众多可用的预训练模型中浏览,找到感兴趣的特定版本或类型的大型语言模型。查看各个模型页面上的详细介绍部分可以了解该模型的特点、性能指标以及适用场景等重要信息[^1]。 #### 下载完整的模型包 对于希望获得整个模型结构及其权重的情况,应当选择完整下载选项。这通常意味着下载一个压缩文件(.zip),其中包含了配置文件(config.json)、词汇表(vocab.txt)以及其他必要的组成部分。 ```bash wget https://example.com/path/to/model.zip unzip model.zip -d ./model_directory/ ``` #### 处理部分组件下载需求 如果仅需某些特定组件而非全部内容,则可以选择按需单独下载这些资源。例如只下载词嵌入矩阵或其他轻量级参数集以减少占用空间或加快加载速度。 #### 将已下载的数据集成到LM Studio环境中 完成上述操作之后,打开LM Studio图形化界面,通过点击 **My Models**, 接着利用“...”按钮下的 “change” 功能指定之前创建用于保存所下模型的新建`models`文件夹路径;最后挑选想要激活运行的具体实例来进行后续实验工作流设置。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

与辉鸿蒙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值