使用unsloth本地微调开源大模型步骤

最新推荐文章于 2025-03-21 16:58:24 发布
最新推荐文章于 2025-03-21 16:58:24 发布
阅读量3.3k 收藏 17
点赞数 7
文章标签： 开源
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43217276/article/details/140665020
版权

一、微调前准备工作

环境准备：建议使用linux系统和anaconda进行环境的部署，输入

cat /proc/version

查看版本信息，以下是我所用的版本信息：

Linux version 6.8.0-38-generic (buildd@lcy02-amd64-049) (x86_64-linux-gnu-gcc-13 (Ubuntu 13.2.0-23ubuntu4) 13.2.0, GNU ld (GNU Binutils for Ubuntu) 2.42) #38-Ubuntu SMP PREEMPT_DYNAMIC Fri Jun  7 15:25:01 UTC 2024

创建anaconda环境，记得使用python3.11，anaconda在linux上安装和创建环境的过程可以去其他教程查找，暂且不多赘述。

安装unsloth：

unsloth官网地址：https://github.com/unslothai/unsloth

下载unsloth文件，这里只需要其中的unsloth文件，这里修改成了在Linux上微调，

我们之后会使用pytorch2.3.0配合cuda12.1版本的gpu进行微调所以安装cuda12.1版本的unsloth以下是官方给出的安装代码：

conda create --name unsloth_env \
    python=3.11 \
    pytorch-cuda=12.1 \
    pytorch cudatoolkit xformers -c pytorch -c
最低0.47元/天 解锁文章
ikinono
关注
使用 Unsloth 与 Ollama 使用和微调 Llama 3.2 的分步指南
iCloudEnd的博客
10-08 1253
Llama 3.2 是 Meta 的开源 AI 模型 (LLM)，有多个版本（仅用于多语言文本的 1B 和 3B 参数，以及用于接受文本和图像输入并输出文本的多模式输入的 11B 和 90B 参数）。在基准测试性能方面，轻量级模型与谷歌的 Gemma 2 2B IT 和微软的 Phi-3.5 进行了比较。在 1B 版本的大多数基准测试中，Llama 3.2 模型（1B 和 3B）通常表现优于 Gemma 2 ，但略低于 Phi-3.5多模态模型在基准测试中通常表现良好。
大模型参数高效微调（PEFT）技术解析及微调加速实践
2301_76161259的博客
06-06 2198
本文详细介绍了几种高效微调方法的原理解析和实验效果对比，并基于Unsloth做了一些微调加速的实践尝试。实验效果显示结合优秀的低参微调方法和微调加速，完全可以做到极为高效的微调大模型，可以在极低的资源占用上得到媲美全参微调的效果。作者介绍：刘辉，58同城TEG-AILab大语言模型算法工程师，主要负责灵犀大语言模型的SFT微调工作。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。
window环境下通过unsloth在本地微调deepseek模型详细教程
AI agent
03-03 2914
这是一个在windows本地环境下，通过unsloth对deepseek模型做微调的教程
Unsloth 基于自己的数据集微调建立专属模型
kuokay的博客
03-05 2011
unsloth 是开源的大语言模型(LLM)微调工具，基于优化计算步骤和 GPU 内核，显著提升模型训练速度减少内存使用。Unsloth支持多种主流 LLM，如 Lama-3、Mistral、Phi-4等，在单 GPU 上实现最高 10倍、多 GPU 上最高 32 倍的加速效果，同时内存使用减少 70% 以上。unsloth 提供免费的开源版本，用户能在 Google Colab 或 Kaggle Notebooks 上快速体验。
Unsloth 大模型微调工具简明教程
新缸中之脑
10-07 1万+
Unsloth使 Llama-3、Mistral、Phi-3 和 Gemma 等 LLM 的微调速度提高 2 倍，内存使用量减少 70%，并且准确度不会降低！我们将在本教程中使用提供免费 GPU 的 Google Colab。（我们将使用的笔记本）CSV/Excel Ollama 指南你还需要登录 Google 帐户！Ollama 可让你快速简单地从自己的计算机运行语言模型！它会悄悄启动一个程序，该程序可以在后台运行 Llama-3 等语言模型。
Unsloth - 大模型微调
AI工程化、开源分享、文档翻译、代码笔记
07-13 2752
一、关于 Unsloth 二、安装说明 💾 1、使用 Conda 2、使用 Pip安装 三、文档📜 四、DPO支持
Unsloth微调环境搭建与LLaMA 3.1-8B模型微调实践指南
xxue345678的博客
09-06 3286
本文详细介绍了如何使用Unsloth框架在WSL环境下对LLaMA 3.1-8B模型进行微调的全过程。通过从环境搭建、微调过程等，读者可以一步步了解如何高效微调自己的专属模型，并通过实例演示了微调后模型的推理效果。本教程特别适合初学者，帮助他们快速掌握Unsloth框架的应用。
Unsloth 使用说明
AI工程化、开源分享、文档翻译、代码笔记
08-24 3944
一、基本说明 什么是微调，为什么？ 如何使用Unsloth？ 📒Unsloth Notebooks Google Colab Main notebooks: Other notebooks: Kaggle 支持的所有模型 📚 二、安装📥 1、更新 无需依赖项 更新 2、Conda 安装 3、Pip安装 4、Google Colab 三、保存模型📂 保存到GGUF 保存到Ollama 在Google Colab上保存 出口到Ollama 自动创建`Modelfile` Ollama推断 保存到VLLM
Unsloth大模型微调指南
沧海之巅的专栏
03-21 812
Unsloth使 Llama-3、Mistral、Phi-3 和 Gemma 等 LLM 的微调速度提高 2 倍，内存使用量减少 70%，并且准确度不会降低！我们将在本教程中使用提供免费 GPU 的 Google Colab。（我们将使用的笔记本）CSV/Excel Ollama 指南你还需要登录 Google 帐户！Ollama 可让你快速简单地从自己的计算机运行语言模型！它会悄悄启动一个程序，该程序可以在后台运行 Llama-3 等语言模型。
如何利用unsloth 进行本地微调模型
02-25
如果我们假设这是一个类似于Hugging Face Transformers等流行的开源工具包，那么下面是一般性的指导方针来进行本地微调预训练模型： ### 准备环境 1. **安装依赖**：首先你需要确保已经安装了Python及其相应的版本...
unsloth本地化微调笔记本
最新发布
05-12
UnSloth 是一个用于加速大模型推理和训练的开源工具包，支持多种框架和硬件优化。要实现对其的本地化微调，可以按照以下方法进行操作： #### 安装依赖 首先需要确保安装的是最新的夜间构建版本（Nightly Build），...
大语言模型微调框架Unsloth：简化模型微调流程，提升模型性能
东南草堂
08-15 985
Unsloth 将 Llama-3、Mistral、Phi-3 和 Gemma 等大型语言模型的微调速度提高了 2 倍，内存使用量减少了 70%，而且准确性不会降低！
5分钟手把手系列(四)：如何微调一个大模型（Colab + Unsloth）
youmaob的博客
10-14 3237
大家在开发一款AI应用时，模型微调并不应该是最先要考虑的事情，目前细分的垂类模型生态已经非常丰富，微调也仅仅能解决对特定任务下大模型的泛化推理能力，而针对需要解决问题的信息实时性、准确性也是通过RAG等方案来解决，有时候对提示词的优化也能起到比较好的效果，所以建议大家在AI应用开发流程上，切勿上来就开始进行模型微调，微调的数据集比例选择(通用/专业)、微调参数选择的不准确，都可能使得基准的大模型失去通用的泛化能力，起到意想不到的反效果。
大模型微调：LLaMA-Factory、Unsloth和Hugging Face，哪个是你的AI加速器？
寻道AI，探索AI无限可能！
11-04 1241
在选择大模型微调工具时，需要充分考虑自己的具体需求、硬件环境和资源限制。以下是一些选择建议，希望能对你有所帮助。如果你需要在多种硬件上进行微调，并希望模型能够量化以适应资源受限的设备，那么 LLaMA-Factory 是一个不错的选择。它的模块化设计、多硬件支持和量化技术，能够为你提供强大的工具，助力你在不同的硬件环境下实现高效的微调。如果你追求极致的微调速度和内存使用效率，那么 Unsloth 将满足你的需求。它的加速微调和低内存占用特性，能够让你在资源受限的环境中快速完成模型的微调，提高工作效率。
大模型干货 | 如何使用Unsloth框架对Llama进行微调？
智能运维及数据中台探索
09-12 2625
今年4月份，Meta 公司发布了功能强大的大型语言模型（LLM）Llama-3，为从事各种 NLP 任务的开发人员提供了功能强大可以在普通机器上运行的开源LLM。然而，传统的 LLM 微调过程既耗时又耗费资源。但是，Unsloth 的出现改变了这一局面，大大加快了 Llama-3 的微调速度。 所以，本文将详细如何使用Unsloth框架进行LLaMA 3.1-8B模型的微调，帮助快速构建微调环境，并了解微调流程的基本步骤。内容比较详尽，适合新手小白学习。
【免费开源】让大模型微调提速 2 倍、内存节省 80% 的开源利器Unsloth，支持 DeepSeek
qq_34598061的博客
02-11 921
在 AI 领域，大语言模型的微调一直是个令人头疼的问题 —— 动辄数天的训练时间、高额的算力成本，让许多研究者和开发者望而却步。今天我们要介绍的开源项目 Unsloth，就像它的名字 "树懒" 一样反差萌，用独特的技术手段让大模型训练实现了 "逆天改命" 般的提速。
LLMs之unsloth：unsloth的简介、安装和使用方法、案例应用之详细攻略
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-08 2万+
​ LLMs之unsloth：unsloth的简介、安装和使用方法、案例应用之详细攻略 目录 unsloth的简介 unsloth的安装和使用方法 unsloth的案例应用 unsloth的简介 unsloth微调Llama 3, Mistral和Gemma速度快2-5倍，内存减少80% !unsloth是一个开源项目，它可以比HuggingFace快2-5倍地微调Llama 3、Mistral和Gemma语言模型，同时内存消耗减少80%。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值