Datawhale AI 夏令营——从零入门大模型微调——Task1学习笔记

本次Task1赛题任务：

跑通最简的Baseline，了解竞赛通用流程、深入各个竞赛环节，精读Baseline与进阶实践.当前环节可让你在 30分钟 内，从一个完全小白的选手，跑通 “星火大模型驱动阅读理解题库构建挑战赛挑战赛” ！

        本篇博客为学习笔记分享，用来解释 baseline 的个人理解，后续优化将在下一篇 Task2 。

流程主要步骤为:

Step1：运行baseline，数据处理

启动环境，一键运行代码；下载输出的文件。

Step2：模型微调

上传训练好的数据；处理完后开始训练数据；进行模型训练；将模型发布为服务。

Step3：模型测试

将获得的参数填入代码中，运行。

Step4：提交模型，等待评分

通过简单对赛题进行分析，纵观整个流程可以看出，主要工作集中在数据处理和prompt关键词上，如何将初始的数据转换为结构化数据，并如何很好的实现数据处理以及通过好的prompt生成结果才是所有问题中最重要的。

这次数据集的数据好像是有点少（种类和数量都是这样），个人认为还需要提供多样化的输入-输出示例，覆盖不同的场景和变化，才能让模型泛化到新情况（包括一些边界案例和异常情况，这些内容应该是可以帮助模型学习如何处理不常见的情况）同时如果要获取更好的效果的话，可能还得人工去优化一下数据。或者去网上找一些新数据，甚至自己出点题