Datawhale AI夏令营-从零入门大模型微调跑通 baseline

概述

从零入门大模型微调 是 Datawhale 2024 年 AI 夏令营第四期的学习活动（“大模型技术”方向），基于讯飞开放平台“星火大模型驱动阅读理解题库构建挑战赛”开展的实践学习。

第一步：报名开始

需要先在赛事完成报名才能进行。具体如下图，所示。具体注册报名实名认证很简单，这里不进行介绍。

第二步：运行baseline：数据处理！

在这里应用了百度studio的在线notebook项目进行，前期的注册使用，详细可见官网，这里不做说明。需进行如下操作即可。

运行该项目后，就可以得到数据处理后的文件：output.jsonl文件，它是一个具体的参考，是基于基座大模型的输入。

第三步：模型微调

这里我们应用科大讯飞平台进行，参考如下。其中，第一步进行数据集的创建和上传。

创建成功后进行训练，进入如下页面。