LLaMA-Factory 课程答疑系列一：10个关键问题速查，官方认证解法让训练推理不踩雷

关注

原创 2025-12-17 10:45:21 813 阅读 AI 写同款· GEO 优化 ›

LLaMA-Factory 课程答疑系列一：10个关键问题速查，官方认证解法让训练推理不踩雷

作为当下热门的大模型微调工具，LLaMA-Factory凭借灵活的适配性和高效的训练能力，成为不少开发者的首选。因此，我们联合LLaMA-Factory作者郑耀威博士，亲自开设了《从零开始玩转LLaMA-Factory大模型微调》课程。别让明天的你，后悔今天没点开这篇文章：LLaMA-Factory作者亲授，带你抢占AI微调先机课程上线后备受关注，有不少开发者和在在校生报名参与学习。

在这个过程中，我们收集了不少学院反馈过来的问题，比如：显存溢出、微调效果不佳、训练卡住等问题却频繁出现。今天整理了《从零开始玩转LLaMA-Factory大模型微调》课程中的高频问题，附上官方认证的解决方案，不管你是刚入门的新手，还是有一定经验的开发者，都能快速找到答案，少走弯路！

Q1：在大模型实验室Lab4AI安装Flash Attention时终端提示OOM，我该如何解决？

现象：在Terminal（终端）页面自定义环境下运行如下所示的命令安装Flash Attention时页面持续停留在编译页面，例如下图所示。

pip install flash-attn -i https://pypi.tuna.tsinghua.edu.cn/simple

运行一段时间后，实例自动重启导致终端连接自动重连。

A：采用源码编译方式安装Flash Attention对系统内存资源要求较高。为确保编译过程稳定，建议配置充足的内存资源。我们推荐系统至少配备400GB内存，建议至少选用H800 * 4卡GPU资源，以提升安装成功率与构建效率。

1、登录账号后，点击悬浮菜单栏的“新建实例”，根据需要选择资源类型（CPU/GPU）、规格及卡数，点击“启动”按钮。实例启动后，点击“Terminal”打开终端，运行以下命令查看Torch版本。

python -c "import torch; print(torch.__version__)"

2、访问Flash Attention公开的仓库地址，下载对应Python版本和cuda版本的release包，以flash_attn-2.8.3+cu12torch2.7cxx11abiTRUE-cp310-cp310-linux_x86_64.whl为例。

3、下载完成后，返回[JupyterLab处理专属数据/Terminal]页面，单击加号新建一个local_pkgs目录，然后将上步下载的文件拖拽至/workspace/local_pkgs目录下。4、在终端运行如下所示的命令，在本地直接安装预编译好的flash-attn高性能二进制库

pip install /workspace/local_pkgs/flash_attn-2.8.3+cu12torch2.7cxx11abiTRUE-cp310-cp310-linux_x86_64.whl

Q2：模型微调日志中的进度条为什么是error？

A：微调日志中进度条显示 error 通常是进度条组件的渲染问题，而非训练程序的功能错误。其本质是工具库（如 tqdm）在特定终端环境下无法正常动态刷新进度条，因此输出 error 标记。只要训练日志中后续有正常的训练指标（如损失、步数）输出，训练逻辑即为正常，无需担心。

Q3：在传输数据时，提示文件“permission denied.”，我该怎么办？

A: 大模型实验室Lab4AI提供user-data文件夹的传输数据权限，其他文件是没有权限被写入数据的。根据您的反馈，您在向 /codelab 文件夹传输数据，该文件夹是没有写入数据权限的。您可以先在user-data文件夹里写入数据，然将文件copy到/codelab 文件夹内。如果文件小的话，可以直接通过jupyter上传。

Q4：数据集上传时，可以接受的最大限制是多少？

A：目前文件管理数据集上传是没有限制的。

Q5：LLaMA Board 无法正常显示数据集怎么办？

A：启动 LLaMA Board 前，确保当前工作目录与 LLaMA-Factory 主目录保持一致，重新启动即可正常显示。

Q6：现在的数据集处理格式是只支持文本+语音或者视频模态，而不支持文本+语音+视频的这种三模态处理格式吗？

A：LlamaFactory 框架目前不支持原生的 “文本 + 语音 + 视频” 三模态处理格式，其架构设计仅支持 “文本 + 一种其他模态” 的双模态融合。若需三模态微调，需通过自定义代码或分阶段融合等方式扩展，框架暂未提供开箱即用的三模态支持。

Q7：训练进程卡住不动该怎么办？

A：LLaMA-Factory 训练时进程停滞（无日志输出、GPU 利用率异常），分为单卡（非分布式）和多卡（分布式）两种场景。如果没有使用分布式训练，请使用下述命令检查 CUDA 版本的 PyTorch 是否被正确安装：

python -c "import torch; print(torch.cuda.is_available())"

如果使用了分布式训练，请尝试设置环境变量export NCCL_P2P_LEVEL=NVL。

Q8：如何模型权重拆分到多个设备上？

A：训练阶段：推荐使用DeepSpeed ZeRO-3 或 FSDP 技术，参考官方示例配置；

推理阶段：通过 vLLM 开启张量并行实现多设备拆分，查阅对应官方示例链接。

Q9：LLaMA-Factory 中如何使用 ORPO 或 SimPO 训练方法？

A：参考示例脚本：https://github.com/hiyouga/LLaMA-Factory/blob/main/examples/train_lora/llama3_lora_dpo.yaml，将脚本中的 pref_loss 参数修改为 orpo（启用 ORPO 训练）或 simpo（启用SimPO 训练）即可。

以上就是 LLaMA-Factory 使用过程中最常见的9个问题及解决方案，建议收藏备用！如果在实战中遇到其他疑难问题，欢迎在评论区留言补充，后续会持续更新答疑系列～

觉得有用的话，别忘了点赞、在看、转发给身边需要的朋友呀！

👉点击购买

添加课程优惠官，了解课程详情