Ob1_M的博客

原创 【解决llama-factory导出并量化模型时爆显存】

即可，本质上这个问题是通过将模型放在cpu上加载，gpu上量化解决的。导出模型后记得改回来，万一以后能用上更大显存的服务器呢？这时候在cpu上加载模型就是浪费时间了。服务器GPU是3090Ti-24G，用llama-factory来QLoRA微调Qwen2.5-14B-Instruct之后就该导出模型了。主要原因是直接在gpu上加载了高精度模型。