SwanLab入门深度学习：Qwen3大模型指令微调

一、概述

Qwen3是通义千问团队的开源大语言模型，由阿里云通义实验室研发。以Qwen3作为基座大模型，通过指令微调的方式实现高准确率的文本分类，是学习大语言模型微调的入门任务。

指令微调是一种通过在由(指令，输出)对组成的数据集上进一步训练LLMs的过程。 其中，指令代表模型的人类指令，输出代表遵循指令的期望输出。 这个过程有助于弥合LLMs的下一个词预测目标与用户让LLMs遵循人类指令的目标之间的差距。

在这个任务中我们会使用Qwen3-1.7B模型在zh_cls_fudan_news数据集上进行指令微调任务，同时使用SwanLab进行监控和可视化。

实验日志过程：https://swanlab.cn/@spark_xiao/Qwen3-fintune/runs/9rzt3rv77885ek176nslh

参考代码：https://github.com/Zeyi-Lin/LLM-Finetune

模型：https://modelscope.cn/models/Qwen/Qwen3-1.7B

数据集：https://www.modelscope.cn/datasets/swift/zh_cls_fudan-news/summary

SwanLab：https://swanlab.cn

二、SwanLab

SwanLab(https://swanlab.cn)是一个用于AI模型训练过程可视化的工具。SwanLab的主要功能包括：

跟踪模型指标，如损失和准确性等
同时支持云端和离线使用，支持远程查看训练过程，比如可以在手机上看远程服务器上跑的训练
记录训练超参数，如batch_size和learning_rate等
自动记录训练过程中的日志、硬件环境、Python库以及GPU(支持英伟达显卡)、NPU(支持华为昇腾卡)、内存的硬件信息
支持团队多人协作，很适合打Kaggle等比赛的队伍

SwanLab库来自一个中国团队(情感机器)，最早的出发点是其开发团队的内部训练需求，后来逐渐开源并且发展成面向公众的产品。SwanLab库在2024年向公众发布。SwanLab刚出现时只有离线版本(对标Tensorboard)，后来经过迭代和努力已经有了云端版和各项功能，并且集成了接近30+个深度学习框架，包括PyTorch、HuggingFace Transformers、Keras、XGBoost等等，其中还包括同样是中国团队开发的LLaMA Factory、Modelscope Swift、PaddleYOLO等框架，具有了很全面的功能。

账号注册

SwanLab的云端版体验是比较好的(非常推荐)，能够支持你在随时随地访问训练过程。

要使用云端版之前需要先注册一下账号：

在电脑或手机浏览器访问SwanLab官网： https://swanlab.cn

点击右上角注册

填写手机号后，点击「发送短信验证码」按钮

填写你的信息

• 用户名称：你的个人昵称，中英文均可
• 用户ID：你的英文名，可由数字、字母、下划线、中横线组成
• 邮箱：你的邮箱
• 机构/院校：你所在的企业、机构或学校
• 您从哪了解到SwanLab？：(选填项)了解到SwanLab的渠道，比如朋友介绍

复制API Key

完成填写后点击「完成」按钮，会进入到下面的页面。然后点击左边的「设置」：

在API Key这个地方，点击复制按钮，复制你的API Key：