【AIGC魔童】DeepSeek v3推理部署客户端:LM Studio
LM Studio是一款能够本地离线运行各类型大语言模型的客户端应用,通过LM Studio 可以快速搜索所需的llms类型的开源大语言模型,并进行运行。
通过使用LM Studio 在本地运行大语言模型可以更加快速的运行流畅的提问,并在独立的环境中保障数据不被监听和收集。
特点:本地、独立、离线
(1)LM Studio的安装
步骤一、进入到官网后根据操作系统下载对应安装包:
步骤二、下载完毕后,点击如下安装包执行文件:
步骤三、打开后下一步进入到安装界面,点击安装即可进入到安装环节,配置相应内容,点击下一步即可完成安装,安装后桌面会显示如下图标:
(2)运行DeepSeek模型
步骤一、双击快捷图标,打开LM Studio
选中一个模型,这里默认可以选择LLM模型,但是也可以点击如下图的 跳过菜单进行跳过:
跳过后即可进入到步骤二环节。
步骤二、进入到chat界面并点击顶部的选择按钮,进行搜索和下载新的模型:
搜索我们的DeepSeek模型,如下图:
点击search more …进入到检索界面,检索的信息中按照下图形式选中并点击下载即可:
等待下载完成…
步骤三、下载完毕后,chat界面选择运行的模型及配置信息,如下图:
点击模型,弹出配置参数表单,可以根据自己的电脑性能进行选择(性能越高,速度越快):
确认无误后,点击load Model即可,对于model的管理可以点击左侧的model的菜单加载进入:
本地运行DeepSeek效果:
可以看到已经在正常运行输出,笔者的电脑配置较低,所以回复情况等待较久,配置越高的电脑,速度越快,效果越好。
(3)常见问题
(1)出现提示消息属于无意义的英文提示(本机配置过低,或者不是独立显卡,无法正常加载模型导致的)
选择模型后,加载进度结束后,选择框中依旧没有选中的模型:
这是由于配置过低没有成功预加载导致,这个问题只能尝试换一个配置更高的电脑。
安装其他模型的方式:
说明:通过搜索model库当中的模型,与我们上文中安装deepseek模型的操作方式一样,如下则是其他开源大语言模型的安装操作。
下载完毕后再chat界面的顶部,选择这个模型即可: