2020 天马杯 AI+ 智能质检 top4方案

开源代码：https://github.com/aBadCat/2020msxf-AI-quality-inspection-competition-4th-place/tree/main/Hierarchical%20Attention%20Network

赛题简介：https://blog.youkuaiyun.com/qqMiSa/article/details/109264698，除此之外决赛还新增了一个ASR题，由于ASR了解不多，赛程时间短，基本只是采用了https://github.com/Z-yq/TensorflowASR中的开源实现

一点总结：

我们建模方案与其他团队不同，A榜在我们之前的队伍大多使用BERT滑窗分类进行平均建模输出的base，这类队伍在B榜名次下滑严重。

bert在处理长文本上做滑窗存在两个缺点：

1. 滑窗文本标签引入大量噪声

2. 滑窗文本关注局部，丢失大量全局信息

B榜在我们之前的团队几乎都使用了传统特征结合建模的方式（哈哈我们也想用来着，但是队友之间建模沟通出现了失误后面没时间做了），多特征构造在帮助模型捕捉全局信息上增益很大，且稳健性强。

如果想要进一步刷分，还是应该进一步通过构建文本特征加入stacking做模型融合的方式。