本地运行大模型，需要什么样的配置？

本地运行大模型有多爽？只有用过了才知道。

那是一种顺畅、自由的感觉。

比如使用那些主流大模型，最常见的就是网络问题，如 IP 受限，或者服务器压力过大导致的延迟等等。

使用本地大模型，真的是像和人自然交谈那么顺畅。

而且，再也不用心疼 token 的费用了。

使用 API 调用大模型时，有没有坐出租车时看计价器的感觉？数字一直在网上蹦。

虽然钱并不多，但那种被羁绊的感觉并不好。

使用本地模型就可以放飞了，例如我会频繁的使用本地模型进行大篇幅的翻译。

那么，本地模型需要什么配置呢？

可以按照使用场景来分。

1）绘图

最低要求 16G 内存，4G 显存。

建议 32G 内存，12G 显存。

2）生成音频

至少 8G 显存。

3）生成文字

至少 8G 内存，4G 显存。

但这个级别的模型的聊天效果不怎么样。

我的机器是 32G内存 + 16G显存，跑 gemma-7b 效果不错。

如果是 32G 内存 24G 显存，那就相当完美了。

总的来说，入门配置怎么也要 3060显卡 + 16G内存，最理想的是 4090 + 32G内存。

在本地跑大模型的话，推荐使用 Lmstudio。

网址：

lmstudio.ai

Lmstudio 集成了本地运行大模型的主要功能。

可以搜索、下载大模型，然后运行和对话。

还有 API server 服务，提供了兼容 OpenAI 规范的接口。

在下载模型时，Lmstudio 还会根据你的机器配置给出建议。

如果运行不了，会提示你。

---

不错吧，快去试试吧。

#AI 人工智能，#本地部署大模型，#gpt890

信息来源 gpt890.com/article/42