qq_44117805的博客

Lora通过添加低秩的矩阵，使得只需要微调少量参数，而不是整个模型。这样就可以用比较小的代价去处理我自己的任务，虽然bert本身不算一个特别巨大的模型，但是作为实践，还是可以尝试吧lora引入进去当作一个实践，从简单到困难需要循序渐进嘛。由于我已经理顺了一次lora的原理，对于个人简单来说就是外接一个新的A和B矩阵，来训练新的小小矩阵去×原本的大大模型，这样只训练小矩阵的成本就能大大降低，而且由于训练关注的也是更加值得关注的部分，模型的精度常常不降反升，用在自己的任务上非常的方便。

然后本次算法是选取了随机森林算法等多种算法进行训练预测，由于数据集涉及到20w条，本电脑内存不足，先把训练集分割成10个，取其中一个进行训练，搜寻到以前做过的旧代码操作记录，零基础入门nlp，用了机器学习的算法进行预测，本次给出的数据集格式是csv格式，读取文件的代码是。包含了label和text，其中官网给出的数据为了避免被人为标记已经做了处理，其中数据提取出来如下所示。

在多种语言理解任务中取得了显著的性能提升，包括问答系统、语言推断、情感分析等。BERT的核心创新在于利用双向Transformer网络预训练深度双向表征，这些表征随后可以被微调用来改善各种特定的NLP任务。当时代码使用了机器学习的方法进行处理，结果仅有80%多的准确率，最近整理代码发现这个项目已经有了更好的处理方式，记录一下代码的训练过程，首先是工具的代码，其中包括了数据集的处理，和bert模型的引入，后面补充加了一个全连接层进行训练。bert理论（待补充）