一文教你使用 Windows 本地运行开源大语言模型，（非常详细）零基础入门到精通，收藏这篇就够了-优快云博客

本文链接：https://blog.youkuaiyun.com/Python_0011/article/details/148011643

缘起

虽然很早就开始使用 ChatGPT，享受大模型带来的工作生活效率的提升，但始终没有自己动手本地部署过。

最近看到了评论尸的文章觉得本地模型非常有必要，加上工作中也想摆脱 OpenAI 或其他线上 API 的依赖，开始尝试过几次在本地部署 LLM 大模型。

尝试过使用 ChatGLM-6B[1]，卡在了安装 Python 依赖。
尝试过使用 Candle[2]，虽然有强大的 Cargo 来管理依赖，但卡在了缺少 Metal 函数。

转机

由于知识储备有限，折腾许久有些垂头丧气，想找到一种简单有效的方式来本地部署，使用LLM大模型。偶然看到了不是 GPT4 用不起，本地大模型更有性价比又开始尝试本地部署LLM大模型。

借助于 WasmEdge[3] 强大的移植能力，使用 LlamaEdge 项目[4]终于成功在自己电脑上成功部署了！所以记录下来我在 windows 上的操作过程，分享出来，如果有其他人想要在 windows 电脑上尝试，可以参考一下~

PS:如果你是Mac或Linux电脑并且网络正常，看教程即可在本地运行大模型。

如果是 Windows 可能需要额外的一些步骤，首先，对于 Windows 用户来说， WasmEdge 可以在 Windows 上运行，但是 ggml 插件无法在 Windows 上直接运行。

需要使用 Windows Subsystem for Linux (WSL[5]) 来执行 AI 相关任务。

查看WSL文档[6]安装 WLS
更改默认安装的 Linux 发行版，例如 Ubuntu。
启动 Linux 发行版，完成初始化设置。
在 Linux 环境中，按照教程即可。

以下是我的操作步骤，使用模型为百川大模型 Baichuan2-13B-Chat[7]，WLS 发行版为 Ubuntu22.04

在 WSL 运行开源大模型

直接在终端中执行以下命令来安装 WasmEdge 和 ggml 插件：运行以下命令来进行安装：

`curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install.sh | bash -s -- --plugin wasi_nn-ggml`

下载该模型的GGUF。模型一般比较大，这一步需要耐心等待。
下载聊天应用程序的跨平台可移植 Wasm 文件。该应用程序让我们用命令行与模型聊天。源代码在这里[8]。

`curl -LO https://huggingface.co/second-state/Baichuan2-13B-Chat-GGUF/resolve/main/Baichuan2-13B-Chat-ggml-model-q4_0.gguf`

使用下面的命令在终端与模型进行聊天。

`wasmedge --dir .:. --nn-preload default:GGML:AUTO:Baichuan2-13B-Chat-ggml-model-q4_0.gguf llama-chat.wasm -p baichuan-2 -r '用户:'`

就这样，不需要安装依赖，不需要配置复杂的环境，就可以在本地运行大模型了！

如果需要暴露兼容 Openai 的 Api或使用 WebUI 交互请查看原教程.

中国开发者遇到一些常见的网络问题

如果在安装WasmEdge过程中遇到网络问题，可以尝试修改 hosts 文件来解决无法访问的问题。使用 sudo vim /etc/hosts 命令打开 hosts 文件，并添加以下内容后，在进行尝试：

`199.232.68.133 raw.githubusercontent.com 199.232.68.133 user-images.githubusercontent.com 199.232.68.133 avatars2.githubusercontent.com 199.232.68.133 avatars1.githubusercontent.com`

或者也可以查看WasmEdge安装教程[9]2. 镜像默认是托管在huggingface[10]上，如果需要下载模型速度太慢，可以访问镜像网站或其他网站下载。例如：魔搭[11]上的Baichuan2-13B-Chat[12] 下载相同名称的gguf 文件即可

运行命令时请确保 Wasm 和模型文件在同一路径下，如果你通过其他途径下载的模型文件，在使用模型时，需要确保实际下载的模型文件名称与在命令中引用的模型名称是一致的(我下载到的模型镜像名称是全小写)。

其他想说的

感谢 second-state的朋友们[13]帮助我解决了这次问题，如果你在运行模型时遇到任何问题，可以在这里[14]提问，相信你能很快得到解答。- 不论是个人还是企业，本地运行大模型都是一件很有想象力的事情，不可以保护隐私，而且有更丰富的应用场景。从早期的自然语言处理计算机程序ELIZA[15]诞生，ai 经过几轮的爆发已经慢慢融入到了我们的工作流以及生活中。在未来，算力更加充沛，每个中小企业都能训练使用自己的模型，而不是依赖于大厂的API，每个人都能拥有无处不在的本地AI派蒙(助手),让我们加速这一天的到来！

参考资料

[1]

ChatGLM-6B: https://github.com/THUDM/ChatGLM-6B

[2]

Candle: https://github.com/huggingface/candle

[3]

WasmEdge: https://wasmedge.org/

[4]

LlamaEdge 项目: https://github.com/second-state/LlamaEdge

[5]

WSL: https://learn.microsoft.com/zh-cn/windows/wsl/install

[6]