收藏！10分钟搞定模型蒸馏：让Qwen3-0.6B准确率从14%飙升至98%【附完整命令】

对于刚接触大模型的程序员和AI小白来说，“高性能”与“轻量化部署”似乎总难两全——大参数模型效果好但资源消耗惊人，小参数模型易部署却能力拉胯。而模型蒸馏技术正是破解这一矛盾的关键：利用大模型的“经验”微调小模型，让轻量级模型在特定任务中媲美旗舰级性能。

本文就带大家手把手实操：以Qwen3-0.6B模型为对象，通过完整的模型蒸馏流程，使其在物流信息抽取任务中准确率从14%暴涨至98%。全程提供可直接复制的命令，哪怕你对微调算法一知半解，也能轻松复刻高性能轻量模型，文末还附上大模型学习大礼包，助力快速入门！

我们以“从混乱文本中提取收件人、地址、电话等结构化信息”为实际场景，完整演示如何通过蒸馏技术，让仅0.6B参数的Qwen3模型，达到235B大模型的信息抽取能力。先放一组直观的效果对比，感受下技术的魔力：

当前，《基于 GPU 云服务器微调 Qwen3 模型》技术方案开放免费体验，您只需要点击文末阅读原文即可开启。

如果您想免费体验更多技术解决方案，可以登录aliyun.com，点击权益中心-解决方案免费试用领取100点试用点。

一、方案路线

1. 数据准备

由于真实的物流填单数据涉及到用户隐私，我们将使用一批虚拟地址描述信息作为输入，并使用 Qwen3-235B-A22B 作为教师模型提取结构化的信息作为输出。

建议您在模型微调时使用业务场景的真实数据。

2. 模型微调

在获取教师模型的输入输出后，我们可以使用该数据来微调 Qwen3-0.6B 模型，提升其在此任务场景下的表现。这里我们将使用魔搭社区提供的 ms-swift 框架，即使您不了解微调算法的细节，依然可以借通过一行命令来完成微调任务。

3. 效果验证

最后，为了确保模型在真实业务场景中的稳定性与准确性，建议在部署到生产环境前准备评测数据与评测标准，对微调后的模型进行效果验证。

二、配置计算环境

大模型微调对计算环境有较高要求，需配套安装合适版本的 GPU 驱动、CUDA（NVIDIA的并行计算平台和编程模型）和 cuDNN（NVIDIA的深度神经网络加速库）。手动通过命令行安装不仅步骤繁琐，而且容易出错。为提升部署效率，您可在创建 GPU 云服务器实例时选择带有 GPU 驱动的镜像，省去复杂的命令行操作，快速启动微调任务。

我们推荐用免费试用的方式体验本方案。免费试用助您零成本体验本解决方案，但试用期间创建的资源与数据在结束后会被清除。免费试用的时长有限，若需长期使用云资源，可以参考：

https://www.aliyun.com/solution/tech-solution-deploy/2925027?utm_content=g_1000405783 页面中手动创建部分。

1. 根据页面提示，领取试用点并创建资源，右侧将实时展示资源创建进程。可能需要等待几分钟。

2. 连接 GPU 云服务器

在跳转页面中，使用左侧的登录名称与登录密码登录。

单击左侧的远程连接按钮，再单击登录，即可连接到 GPU 云服务器。

三、下载并微调模型

微调模型通常上手门槛较高。通过魔搭社区提供的 ms-swift 框架，您仅需一句命令即可快速启动微调任务，大幅降低操作复杂度。

1.安装依赖

本方案依赖以下两个核心组件：

• ms-swift

魔搭社区提供的训练框架，支持模型的下载、微调和权重合并，极大简化了微调流程。

• vllm

用于部署微调后的模型，支持高性能推理服务，不仅方便验证微调效果，还可用于生成 API，供业务方直接调用。

您可以在终端运行以下命令来安装依赖：

pip3 install vllm==0.9.0.1 ms-swift==3.5.0

安装依赖大约需要5分钟。

2.模型微调

运行以下命令可以完成模型下载、微调、合并权重的操作：

# 进入 /root 目录
cd /root && \
# 下载微调脚本 sft.sh
curl -f -o sft.sh "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250623/cggwpz/sft.sh" && \
# 执行微调脚本
bash sft.sh

模型微调核心代码如下，您可以在 sft.sh 文件中看到：

dataset 参数指定的’train.jsonl’为数据准备步骤获得的训练集。

swift sft \
--model Qwen/Qwen3-0.6B \
--train_type lora \
--dataset 'train.jsonl' \
--torch_dtype bfloat16 \
--num_train_epochs 10 \
--per_device_train_batch_size 20 \
--per_device_eval_batch_size 20 \
--learning_rate 1e-4 \
--lora_rank 8 \
--lora_alpha 32 \
--target_modules all-linear \
--gradient_accumulation_steps 16 \
--save_steps 1 \
--save_total_limit 2 \
--logging_steps 2 \
--max_length 2048 \
--output_dir output \
--warmup_ratio 0.05 \
--dataloader_num_workers 4

微调模型大约需要10分钟，期间会实时打印如下所示的模型在训练集与验证集的损失变化情况：

出现以下信息表明模型微调已完成：

✓ swift export 命令执行成功
检查合并结果...
✓ 合并目录创建成功: output/v0-xxx-xxx/checkpoint-50-merged
✓ LoRA权重合并完成！
合并后的模型路径: output/v0-xxx-xxx/checkpoint-50-merged

完成该步骤会在output/v0-xxx-xxx路径下生成带有 merged 后缀的文件夹，为微调后的模型文件。

您可以在output/v0-xxx-xxx路径下中找到 images 文件夹，打开 train_loss.png（反映训练集损失） 与 eval_loss.png（反映验证集损失），根据损失值的变化趋势初步判断当前模型的训练效果：

• 在结束训练前 train_loss 与 eval_loss 仍有下降趋势（欠拟合）

您可以增加 num_train_epochs（训练轮次，与训练深度正相关） 参数，或适当增大 lora_rank（低秩矩阵的秩，秩越大，模型能表达更复杂的任务，但更容易过度训练）的值后再进行训练，加大模型的对训练数据的拟合程度；

• 在结束训练前 train_loss 持续下降，eval_loss 开始变大（过拟合）

您可以减少 num_train_epochs 参数，或适当减小lora_rank的值后再进行训练，防止模型过度训练；

• 在结束训练前 train_loss 与 eval_loss 均处于平稳状态（良好拟合）

模型处于该状态时，您可以进行后续步骤。

四、验证效果

在将微调后的模型部署到实际业务环境前，我们建议先对其效果进行系统性的评测。只有通过充分验证，才能确保模型具备良好的稳定性和准确性，避免上线后出现意料之外的问题。

1.准备测试数据

测试数据的格式应与训练数据一致，以确保评测的可比性。

测试数据应使用区别于训练数据的全新样本用于测试。这样可以更准确地反映模型在新数据上的泛化能力，避免因“见过的样本”导致分数虚高。

您可以运行以下命令获取我们准备好的测试数据：

cd /root && \
# 下载测试数据 test.jsonl
curl -o test.jsonl "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250610/mhxmdw/test_with_system.jsonl"

以下两行示例样本供您参考：

{"messages": [{"role": "system", "content": "你是一个专业的信息抽取助手，专门负责从中文文本中提取收件人的JSON信息，包含的Key有province（省份）、city（城市名称）、district（区县名称）、specific_location（街道、门牌号、小区、楼栋等详细信息）、name（收件人姓名）、phone（联系电话）"}, {"role": "user", "content": "电话：23204753945:大理市大理市人民路25号 大理古城国际酒店 3号楼:收件者：段丽娟"}, {"role": "assistant", "content": "{\"province\": \"云南省\", \"city\": \"大理市\", \"district\": \"大理市\", \"specific_location\": \"人民路25号 大理古城国际酒店 3号楼\", \"name\": \"段丽娟\", \"phone\": \"23204753945\"}"}]}
{"messages": [{"role": "system", "content": "你是一个专业的信息抽取助手，专门负责从中文文本中提取收件人的JSON信息，包含的Key有province（省份）、city（城市名称）、district（区县名称）、specific_location（街道、门牌号、小区、楼栋等详细信息）、name（收件人姓名）、phone（联系电话）"}, {"role": "user", "content": "天津市河西区珠江道21号金泰大厦3层 , 接收人慕容修远 , MOBILE：22323185576"}, {"role": "assistant", "content": "{\"province\": \"天津市\", \"city\": \"天津市\", \"district\": \"河西区\", \"specific_location\": \"珠江道21号金泰大厦3层\", \"name\": \"慕容修远\", \"phone\": \"22323185576\"}"}]}

2.设计评测指标

评测标准应紧贴实际业务目标。以本方案为例，除了判断生成的 JSON 字符串是否合法，还应该关注对应 Key、Value 的值是否正确。

本案例评测方法核心代码

def compare_address_info(actual_address_str, predicted_address_str):
"""比较两个JSON字符串表示的地址信息是否相同"""
try:
# 解析实际地址信息
if actual_address_str:
actual_address_json = json.loads(actual_address_str)
else:
actual_address_json = {}
# 解析预测地址信息
if predicted_address_str:
predicted_address_json = json.loads(predicted_address_str)
else:
predicted_address_json = {}
# 直接比较两个JSON对象是否完全相同
is_same = actual_address_json == predicted_address_json
return {
"is_same": is_same,
"actual_address_parsed": actual_address_json,
"predicted_address_parsed": predicted_address_json,
"comparison_error": None
}
except json.JSONDecodeError as e:
return {
"is_same": False,
"actual_address_parsed": None,
"predicted_address_parsed": None,
"comparison_error": f"JSON解析错误: {str(e)}"
}
except Exception as e:
return {
"is_same": False,
"actual_address_parsed": None,
"predicted_address_parsed": None,
"comparison_error": f"比较错误: {str(e)}"
}

3.评测初始模型效果

我们针对 Qwen3-0.6B 模型设计了多版提示词，选取效果最好的系统提示词为：

你是一个专业的信息抽取助手，专门负责从中文文本中提取收件人的结构化信息。
## 任务说明
请根据给定的输入文本，准确提取并生成包含以下六个字段的JSON格式输出：
- province: 省份/直辖市/自治区（必须是完整的官方名称，如"河南省"、"上海市"、"新疆维吾尔自治区"等）
- city: 城市名称（包含"市"字，如"郑州市"、"西安市"等）
- district: 区县名称（包含"区"、"县"等，如"金水区"、"雁塔区"等）
- specific_location: 具体地址（街道、门牌号、小区、楼栋等详细信息）
- name: 收件人姓名（完整的中文姓名）
- phone: 联系电话（完整的电话号码，包括区号）
## 抽取规则
1. **地址信息处理**：
- 必须准确识别省、市、区的层级关系
- 省份名称必须使用官方全称（如"河南省"而非"河南"）
- 直辖市的province和city字段应该相同（如都填"上海市"）
- specific_location应包含详细的街道地址、小区名称、楼栋号等
2. **姓名识别**：
- 准确提取完整的中文姓名，包括复姓
- 包括少数民族姓名
3. **电话号码处理**：
- 提取完整的电话号码，保持原有格式
## 输出格式
请严格按照以下JSON格式输出，不要添加任何解释性文字：
{
"province": "省份名称",
"city": "城市名称",
"district": "区县名称",
"specific_location": "详细地址",
"name": "收件人姓名",
"phone": "联系电话"
}

使用上述系统提示词与测试样本对没有微调的本地 Qwen3-0.6B 模型进行评测：

# 进入 /root 目录
cd /root && \
# 下载并执行验证脚本
curl -o evaluate_without_sft.py "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250617/ksrneh/evaluate_without_sft.py" && \
curl -o evaluate_without_sft.sh "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250617/cmvbcz/evaluate_without_sft.sh" && \
bash evaluate_without_sft.sh

执行后可以看到，尽管优化了提示词，测试样本准确率仅有14%：

所有预测完成! 结果已保存到 predicted_labels_without_sft.jsonl
样本数: 400 条
响应正确: 56 条
响应错误: 344 条
评估脚本运行完成

4.验证微调后模型效果

使用测试样本对微调后的模型进行评测：

# 进入 /root 目录
cd /root && \
# 下载并执行验证脚本
curl -o evaluate.py "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250612/bzszyc/evaluate.py" && \
curl -o evaluate.sh "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250612/xtgxql/evaluate.sh" && \
bash evaluate.sh

针对微调后的模型，我们使用了更简单的提示词，这可以提升模型推理时的响应速度：

你是一个专业的信息抽取助手，专门负责从中文文本中提取收件人的JSON信息，包含的Key有province（省份）、city（城市名称）、district（区县名称）、specific_location（街道、门牌号、小区、楼栋等详细信息）、name（收件人姓名）、phone（联系电话）

即使使用了更简单的提示词，微调模型的准确率也达到 98%，相比微调前的 14% 准确率有了大幅提升。

所有预测完成! 结果已保存到 predicted_labels.jsonl
样本数: 400 条
响应正确: 392 条
响应错误: 8 条
评估脚本运行完成

至此，您已经成功完成了一次模型微调。

如果您需要在生产环境中使用，可以点击文末阅读原文参考后续内容。

您也可以通过在aliyun.com 直接搜索“10分钟微调，让0.6B模型媲美235B模型”即可直达技术解决方案，获得更多部署方案。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套 AI 大模型突围资料包：

• ✅ 从零到一的 AI 学习路径图
• ✅ 大模型调优实战手册（附医疗/金融等大厂真实案例）
• ✅ 百度/阿里专家闭门录播课
• ✅ 大模型当下最新行业报告
• ✅ 真实大厂面试真题
• ✅ 2025 最新岗位需求图谱

所有资料 ⚡️ ，朋友们如果有需要 《AI大模型入门+进阶学习资源包》，下方扫码获取~

① 全套AI大模型应用开发视频教程

（包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点）

② 大模型系统化学习路线

作为学习AI大模型技术的新手，方向至关重要。 正确的学习路线可以为你节省时间，少走弯路；方向不对，努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划，带你从零基础入门到精通！

③ 大模型学习书籍&文档

学习AI大模型离不开书籍文档，我精选了一系列大模型技术的书籍和学习文档（电子版），它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。

④ AI大模型最新行业报告

2025最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

⑤ 大模型项目实战&配套源码

学以致用，在项目实战中检验和巩固你所学到的知识，同时为你找工作就业和职业发展打下坚实的基础。

⑥ 大模型大厂面试真题

面试不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我精心整理了一份大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

以上资料如何领取？

为什么大家都在学大模型？

最近科技巨头英特尔宣布裁员2万人，传统岗位不断缩减，但AI相关技术岗疯狂扩招，有3-5年经验，大厂薪资就能给到50K*20薪！

不出1年，“有AI项目经验”将成为投递简历的门槛。

风口之下，与其像“温水煮青蛙”一样坐等被行业淘汰，不如先人一步，掌握AI大模型原理+应用技术+项目实操经验，“顺风”翻盘！

这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

以上全套大模型资料如何领取？