Datawhale NLP实践-文本分类 Task01&Task02

比赛和项目相关信息：

天池热身赛比赛网址
datawhale项目介绍

Task01

模型配置等问题
之前做实验基本都已进行

Docker的基本使用及原理理解

docker是什么：

（Docker 公司的口号：Build，Ship，and Run Any App，Anywhere）

推荐阅读-本质原因：什么是docker？（docker-自动化运维-提供标准化）

通俗理解docker来自知乎-同问题下，
@刘允鹏和@木头龙的回答都十分好

Task02 模型改进和代码解析

代码baseline解释来自同组

来自项目本身的改进建议：

1. 修改 calculate_loss.py 改变loss的计算方式，从平衡子任务难度以及各子任务类别样本不均匀入手；
2. 修改 net.py 改变模型的结构，加入attention层，或者其他层；
3. 使用 cleanlab 等工具对训练文本进行清洗；
4. 做文本数据增强，或者在预训练时候用其他数据集pretrain；
5. 对训练好的模型再在完整数据集（包括验证集和训练集）上用小的学习率训练一个epoch；
6. 调整bathSize和a_step，变更梯度累计的程度，当前是batchSize=16，a_step=16；
7. 用 chinese-roberta-wwm-ext 作为预训练模型

这样的改进更像是技术上的改进，像是比赛策略，而不是偏向模型本身的改进。
当然，多任务的模型调整和改进也是很重要的部分。

比赛本身的官方梳理

比较有意思的一个话题和群里也在讨论的便是，数据不均衡下的一些策略，这涉及到一些技巧，也和改善结果有一定的关系。