刺无名客的博客

几个点

前言：本文来自复旦的团队，主要探讨了bert的进一步预训练和微调来进行文本分类的内容。时值百度的一个练习赛，那么聊到分本分类的大杀器bert，所以找到了这篇文章。 焦点主要聚焦在具体方法上： 一、方法 1.可变的学习率 2.进一步预训练（mask+nsp） 自己的数据集 同领域 跨领域 3.多任务 二、实验结果 1.微调策略 ①长文本（>512） 截断，头5...