【AIGC魔童】DeepSeek v3推理部署客户端:LM Studio

【AIGC魔童】DeepSeek v3推理部署客户端:LM Studio

LM Studio是一款能够本地离线运行各类型大语言模型的客户端应用,通过LM Studio 可以快速搜索所需的llms类型的开源大语言模型,并进行运行。

通过使用LM Studio 在本地运行大语言模型可以更加快速的运行流畅的提问,并在独立的环境中保障数据不被监听和收集。

特点:本地、独立、离线

官网https://lmstudio.ai/

(1)LM Studio的安装

步骤一、进入到官网后根据操作系统下载对应安装包:

在这里插入图片描述

步骤二、下载完毕后,点击如下安装包执行文件:

在这里插入图片描述

步骤三、打开后下一步进入到安装界面,点击安装即可进入到安装环节,配置相应内容,点击下一步即可完成安装,安装后桌面会显示如下图标:

在这里插入图片描述

(2)运行DeepSeek模型

步骤一、双击快捷图标,打开LM Studio

选中一个模型,这里默认可以选择LLM模型,但是也可以点击如下图的 跳过菜单进行跳过:

在这里插入图片描述

跳过后即可进入到步骤二环节。

步骤二、进入到chat界面并点击顶部的选择按钮,进行搜索和下载新的模型:

在这里插入图片描述

搜索我们的DeepSeek模型,如下图:

在这里插入图片描述

点击search more …进入到检索界面,检索的信息中按照下图形式选中并点击下载即可:

在这里插入图片描述

等待下载完成…

在这里插入图片描述

步骤三、下载完毕后,chat界面选择运行的模型及配置信息,如下图:

在这里插入图片描述

点击模型,弹出配置参数表单,可以根据自己的电脑性能进行选择(性能越高,速度越快):

在这里插入图片描述

确认无误后,点击load Model即可,对于model的管理可以点击左侧的model的菜单加载进入:

在这里插入图片描述

本地运行DeepSeek效果

在这里插入图片描述

可以看到已经在正常运行输出,笔者的电脑配置较低,所以回复情况等待较久,配置越高的电脑,速度越快,效果越好。

(3)常见问题

(1)出现提示消息属于无意义的英文提示(本机配置过低,或者不是独立显卡,无法正常加载模型导致的)

在这里插入图片描述

选择模型后,加载进度结束后,选择框中依旧没有选中的模型:
这是由于配置过低没有成功预加载导致,这个问题只能尝试换一个配置更高的电脑。

安装其他模型的方式:
说明:通过搜索model库当中的模型,与我们上文中安装deepseek模型的操作方式一样,如下则是其他开源大语言模型的安装操作。

在这里插入图片描述

下载完毕后再chat界面的顶部,选择这个模型即可:

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值