Bert中文文本多分类与传统BOW+tfidf+LR中文文本多分类对比
最近在重温bert,对bert的中文文本多分类的效果很好奇,并将其与传统的非pre-train模型进行对比,除此之外,由于选用的是12层的base版的bert,还从第0层开始到12层,对每一层的输出进行了校验和测试。想看看每一层的transformer对bert分类效果的影响。此外,还取用了12层的element-wise的平均值进行bert结果的评估,结论以及操作方式如下。 ...
原创
2019-06-04 21:34:44 ·
3846 阅读 ·
7 评论