LM Studio本地部署大模型

最新推荐文章于 2025-10-29 16:37:20 发布

原创

最新推荐文章于 2025-10-29 16:37:20 发布 · 1.9k 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#python #ai

现在的AI可谓是火的一塌糊涂, 看到使用LM Studio部署本地模型非常的方便, 于是我也想在自己的本地试试

LM Studio 简介

LM Studio 是一款专为本地运行大型语言模型（LLMs）设计的桌面应用程序，支持 Windows 和 macOS 系统。它允许用户在个人电脑上无需联网即可高效部署和交互开源大模型（如 LLaMA、Mistral、GPT-NeoX 等），兼顾隐私性与灵活性。

下载

LM Studio官网: https://lmstudio.ai/
进入到官网之后直接下载即可, 然后无脑安装, 这里就不多介绍了
在这里插入图片描述

简单设置

首次打开之后根据自己需要可以设置一下语言, 这里我们选择中文
在这里插入图片描述

点击放大镜, 里面有三个选项

下载模型

注意下载模型时尽量选择有绿色标识的模型进行下载, 这是LM Studio给我推荐安装的, 表示我们的GPU显存可以完全的运行该模型, 以保证模型的运行速度
在这里插入图片描述

运行环境

运行环境很重要, 这关系到我们的电脑到底能不能玩模型, 正常来讲肯定是NAIDIA显卡更合适一些, 但是很多人可能装的不是N卡,甚至没有独显, 也就不支持CUDA, 这让本地部署成了件麻烦事, 好在LM Studio帮我们解决了这些麻烦, 可以看到我的显卡并不支持CUDA, 但是支持Vulkan,虽说比不上CUDA但是总归是能吃上显卡的算力的, 就算是我们本地没有独显, LM Studio还支持纯CPU运行的, 只是体验不太好罢了, 这一点比ollama就要好上太多了
在这里插入图片描述

本地资源监视

这里就是本地资源的展示, 可以不用调整
在这里插入图片描述

启动模型

选择要启动的模型直接点击就可以运行
在这里插入图片描述

设置模型参数

设置模型参数有两种方式, 一种是临时的, 一种是永久保存的, 在这里设置的参数, 在通过接口访问本地模型时也是生效的, 相当于不用我们在调用接口时再去手写这些配置, 很是方便

临时设置参数

在这里插入图片描述

永久设置参数

在这里插入图片描述

聊天窗口对话

这里截图不完整, 我问了它一个简单问题, 让它使用java写一个简单的冒泡排序算法, 可见它生成的速度还是蛮快的, 这说明它却是吃上了显卡的算力
在这里插入图片描述

开发者

在这里插入图片描述

本地调用模型

这里我使用python写了一个简单调用大模型的脚本

import requests
import json

# 配置 LM Studio 的 API 地址（默认端口 1234）
LM_STUDIO_API_URL =

最低0.47元/天解锁文章