基于autodl与llama-factory微调llama3（一）

一、微调数据集demo

        在微调开始前，我们需要为微调模型创建我们的数据集，在首先采用PICO语料库作为数据集的基础上，我们基于先前介绍过的json代码与先前在阿里千帆平台上的初步尝试，直接利用先前构造的数据样式，进行模型微调。后续将具体介绍导入数据集与微调方式，对于我们初次的数据集demo，出现了数据集无效的样式。

        起初我们认为是数据集的json组成有问题，因此进行了较多资料与帮助文档的查询——最后发现问题所在为，我们的input不可为空，instruction才是我们需要给他传输的prompt描述，而文献应该作为我们的output，了解真相后我们实在是懊恼不已，因为我们在别的方向寻找了非常多的方法，却没有想过数据的格式并没错，只是数据填写有问题。

二、基于本地数据集微调方式

        在此处介绍完微调方式后，我将不再在后续的优快云博客中描述数据集微调方式，只会具体展示每一次微调所进行的调优工作。

1.首先传入我们自己的数据集至autodl中，传入的位置目录为：LLaMA-Factory/data

传入方式为，点击该红色方框内的按钮，传入本地文件即可。

2.传入文件后，我们可以看到该目录下