解决Yi部署9大痛点：GPU不足也能跑
【免费下载链接】Yi 
项目地址: https://gitcode.com/GitHub_Trending/yi/Yi
你是否还在为部署Yi大模型时遇到的GPU内存不足、部署流程复杂、运行速度慢等问题而困扰？本文将针对这些痛点，提供9种实用的解决方案，即使在GPU资源有限的情况下，也能顺利运行Yi模型。读完本文，你将了解如何通过本地部署工具、模型量化、硬件优化等多种方式，轻松解决Yi部署过程中的常见难题。
一、本地部署工具选择：简单高效的解决方案
当你没有高端GPU时，选择合适的本地部署工具可以大大降低硬件要求。以下介绍几种常用的工具：
1. Ollama：轻量级本地部署工具
Ollama是一款开源的大型语言模型服务工具，支持在本地硬件环境中轻松部署和使用大规模预训练模型。它的优势在于操作简单，无需复杂配置，即使是新手也能快速上手。
首先，你需要下载并安装Ollama。可以直接在Ollama官方网站进行下载，根据自己的电脑系统选择对应的版本。安装完成后，在终端中运行以下命令即可启动Yi模型：
ollama run yi:6b
运行命令后，Ollama会自动下载模型到本地，下载完成后即可进行使用。下图为运行成功的参考示意图：
如果你更喜欢可视化操作，可以配合OpenWebUI使用。OpenWebUI提供了友好的用户界面，基本不需要使用命令进行操作，使用体验非常好，操作门槛低。具体安装步骤可参考本地Ollama部署文档。
2. LM Studio：智能模型匹配工具
LM Studio是一款易于使用的桌面应用程序，用于试用本地和开源的大型语言模型。它会友好地帮你评估本地电脑可以运行哪些模型，避免因显存不足而无法运行的问题。
首先，前往LM Studio的官方网站下载并安装软件。打开LM Studio后，在搜索框搜索“yi1.5-6b-chat”或其他Yi模型，软件会显示你的电脑可以运行的模型。选择你想要本地运行的模型，点击“download”下载即可使用。
二、模型量化：降低显存占用的关键技术
模型量化是解决GPU内存不足的有效方法，通过降低模型参数的精度，减少显存使用和硬盘占用，同时保持模型性能。以下介绍两种常用的量化方法：
1. AutoAWQ量化：高效低比特量化
AutoAWQ是一款易于使用的4位量化模型软件包，与FP16相比，可将模型速度提高3倍并将内存需求降低3倍。以Yi-1.5-6B-Chat模型为例，量化后的显存使用和硬盘占用情况如下表所示：
| 模型 | 显存使用 | 硬盘占用 | |--|------|-------| | Yi-1.5-6B-Chat | 6G | 24.5G |
首先，安装AutoAWQ。需要注意的是，如果想要使用pip进行安装，必须满足cuda>=12.1：
pip install autoawq
对于CUDA 11.8、ROCm 5.6 和 ROCm 5.7，推荐从源码进行安装：
git clone https://github.com/casper-hansen/AutoAWQ.git
cd AutoAWQ
pip install -e .
然后，使用以下代码加载和量化模型：
from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer
model_path = '01-ai/Yi-1.5-6B-Chat'
quant_path = 'Yi-1.5-6B-Chat-awq'
quant_config = { "zero_point": True, "q_group_size": 128, "w_bit": 4, "version": "GEMM" }
model = AutoAWQForCausalLM.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model.save_quantized(quant_path)
tokenizer.save_pretrained(quant_path)
量化后的模型可以通过transformers直接使用，具体代码可参考AutoAWQ量化文档。
2. llama.cpp量化：灵活的本地量化工具
llama.cpp不仅支持本地运行Yi模型，还提供了量化功能，可以将模型量化为多种精度，以适应不同的硬件需求。例如，将模型量化为Q4_1精度：
./llama-quantize --allow-requantize /root/yi-models/Yi-1.5-6B-Chat-GGUF/Yi-1.5-6B-Chat-q8_0-v1.gguf /root/yi-models/Yi-1.5-6B-Chat-GGUF/Yi-1.5-6B-Chat-q4_1-v1.gguf Q4_1
执行完毕后，你将得到量化后的模型文件。使用量化后的模型进行对话的示意图如下：
更多量化精度选项和使用方法可参考llama.cpp本地部署文档。
三、硬件优化：充分利用现有资源
除了选择合适的部署工具和模型量化方法，还可以通过硬件优化来提高Yi模型的运行效率。
1. GPU和CPU版本选择
在编译llama.cpp时，可以根据自己的硬件情况选择GPU或CPU版本。如果你的电脑支持CUDA，可以编译GPU版本以提高运行速度：
cmake -B build_cuda -DLLAMA_CUDA=ON
cmake --build build_cuda --config Release -j 8
如果没有GPU，可以编译CPU版本：
cmake -B build_cpu
cmake --build build_cpu --config Release
2. 内存优化：合理分配系统资源
在运行Yi模型时，合理分配系统内存可以提高运行效率。例如，关闭其他占用内存较大的应用程序，为模型运行预留足够的内存空间。此外，使用swap分区也可以在一定程度上缓解内存不足的问题。
四、部署流程简化：从下载到运行的一站式指南
为了让你更轻松地部署Yi模型，我们提供了一个简单的部署流程：
- 下载模型：可以从huggingface下载GGUF格式的Yi模型，或使用huggingface_hub工具下载模型。
- 安装部署工具：根据自己的需求选择Ollama、LM Studio或llama.cpp等工具，并按照官方文档进行安装。
- 模型量化（可选）：如果GPU内存不足，可以使用AutoAWQ或llama.cpp对模型进行量化。
- 启动模型：使用部署工具加载模型并启动对话。
下图为Yi模型的快速部署路径示意图：
五、常见问题解决：遇到问题不用慌
在部署Yi模型的过程中，你可能会遇到各种问题。以下是一些常见问题的解决方法：
1. 模型下载速度慢
可以使用国内镜像源或通过huggingface-cli工具设置代理来提高下载速度。例如：
huggingface-cli download lmstudio-community/Yi-1.5-6B-Chat-GGUF --local-dir /root/yi-models/Yi-1.5-6B-Chat-GGUF --resume-download
2. 运行时出现显存不足错误
除了进行模型量化外，还可以尝试减小批处理大小、使用模型并行等方法来降低显存占用。
3. 模型运行速度慢
可以通过优化编译器选项、使用更快的推理引擎（如vLLM）等方法来提高模型运行速度。具体可参考推理优化文档。
通过以上9种解决方案，相信你已经能够顺利解决Yi部署过程中的各种痛点，即使在GPU资源有限的情况下，也能轻松运行Yi模型。如果你在部署过程中遇到其他问题，可以参考项目教程或查阅相关文档获取更多帮助。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
