LoRA 微调实战指南：基于 Unsloth 的高效训练流程

Hardware Requirements

需要一块至少具有 6GB 显存的 GPU。
已在支持 bfloat16 和 FlashAttention 的 GPU 上进行过测试。
建议使用 Ampere 架构或更新的 GPU。兼容的 GPU 示例包括：

所有 RTX 系列 GPU

所有 AXX 系列 GPU，如 A40、A100

H100

Software Requirements

本代码已在 CUDA 12.1 和 PyTorch 2.2.0 环境下测试过，也应能在更高版本中正常运行。
如果你遇到兼容性问题，可以告诉我。

Unsloth 针对特定版本的 CUDA 和 PyTorch 进行了优化。要查找你应该使用的 Unsloth 版本，请运行以下命令：

wget -qO- https://raw.githubusercontent.com/unslothai/unsloth/main/unsloth/_auto_install.py | python -

pip install "unsloth[cu121-ampere-torch240] @ git+https://github.com/unslothai/unsloth.git"

F