零基础也能体验模型微调！魔塔+LLaMa Factory手把手教程

我们天天微调微调，微调到底是啥感觉？

所以今天用魔塔+LLaMa Factory 体验微调一个模型

文科生也能跑完，不用考虑你自己电脑的配置，云上的。

微调完我们还会引入到本地直接对话。（我用的数据集较简单，你可以丰富数据集制造更好效果）

走一下最基本的简化流程，

之后不管是面试还是项目沟通中都可以大概心里有个数了。

1、构建免费实例

打开：https://modelscope.cn/my/mynotebook/preset

关联阿里云账号后，选第二个gpu环境👇

注意这个实例过一段时间就会释放，不要保存你重要的数据。到时候就没了。

两三分钟后，点击查看notebook

这些大图标就是你的软件，侧边栏就是文件夹，下面的$符号logo，就是终端。相当于在云端给你装了个电脑。

打开终端，

打开之后你存进去的内容都是持久化存储。关闭只是停止计时了。

2、下载模型、创建模型文件夹

接着下载LLaMA-Factory代码。

我们只用复制不带[#的代码就可以了](javascript:😉。

安装依赖的环节会等待大概20分钟，不用怀疑，它没坏，需要你等待时间比较长而已。

# 克隆LLaMA-Factory代码仓库到本地
git clone https://github.com/hiyouga/LLaMA-Factory.git
# 进入项目目录cd LLaMA-Factory#创建虚拟环境
python -m venv .venv
#激活虚拟环境
source .venv/bin/activate
# 安装依赖
pip install -e ".[torch,metrics]"
# 环境冲突
`pip install --no-deps -e .`

如果出现红色的error就更新下依赖

pip install --upgrade pip

会看到已经开始下载了，左边也多了一个文件夹。

看到这里的时候基本就已经装完了。

接着下载模型，创建文件夹，右键并命名为 models，并下载新模型到这个文件夹里

git clone https://www.modelscope.cn/Qwen/Qwen2.5-0.5B-Instruct.git

3、引入数据集

我们以售后数据集为例：下载数据集：https://modelscope.cn/datasets/meadhu/taobao-positive-sentence/files

下载之后打开你会发现它不是典型的json格式

所以我们需要预处理一下。我们让ds直接处理成json就好。保存文件名为train_converted.json 。

保存文件名为train_converted.json 。完整代码我放文末星球上了。

因为系统自带dataset_info.json等于说是train_converted.json数据集等的索引。所以我们记住把后者写入前者就可以了。红框里的代码插进去就行了。

4、开始训练

设置一下训练配置，照着下面填就可以，注意数据集选择train_converted.json

另外，模型路径需要是你自己的路径，不要直接抄，需要检查一下是否和你真实的文件路径是同一个。

设置完成，依次点击这三个保存训练参数，并开始训练。

模型就开始嘎嘎给你训练

你就可以看到模型损失曲线了——

模型损就是失衡量预测与真实值的误差，

训练目标是最小化损失；但并非越小越好。

5、测试聊天

接着我们切换到chat，试试模型有没有记住我们刚才提供的数据。

点击检查点路径👉chat👉加载模型

接着我们就可以看到它的回答是基于我们的训练数据的

（咱们这个样本数据太少了加上模型尺寸会受影响，只是举个例子）

总体上姑且认为它训练成功了。

6、导出模型

导出目录一定命名为outputmodel，因为我第七步代码里用了这个名字

导出成功后再看notebook就会发现多了一个文件夹

7、转化模型格式

回到终端，LLaMA-Factory路径下，执行

cd /mnt/workspace/LLaMA-Factory
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp/gguf-py
pip install --editable .

执行完了之后就会多一个cpp文件夹

首先会到LLaMA-Factor下面创建一个叫megred-model-path的文件夹

然后回到llma.cpp文件路径下，一次性复制下面三行代码运行

python convert_hf_to_gguf.py /mnt/workspace/LLaMA-Factory/outputmodel \ --outfile /mnt/workspace/LLaMA-Factory/megred-model-path \ --outtype q8_0

他就会直接给你保存到/mnt/workspace/LLaMA-Factory/llama.cpp

这个gguf就是常用的大模型格式，你粗略理解成你的梁文峰老师天天忙的就是gguf这些。

右键下载就可以了

8、使用模型

打开https://jan.ai/，它可以直接使用模型

setting👉 Molde Provider 👉import一下就可以了

选择刚刚下载的gguf，点击start

效果非常沙雕，毕竟咱们就一个非常简单的数据集。你可以丰富一下数据集看效果。

如果你不训练，这里回答的将会是千问自定义的回答。

ok，这就是我们模型预训练最最最简单的一个最最最简陋的一个流程体验。

之后不管是面试还是项目沟通中都可以大概心里有个数啦。

如何零基础入门 / 学习AI大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

那么我作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，希望可以帮助到更多学习大模型的人！至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

👉 福利来袭优快云大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

全套AGI大模型学习大纲+路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉 福利来袭优快云大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。