fengshanghere的博客

发顺丰motivationPLM更注重

创新点无监督的电商生成评论摘要rating-wise and aspect-wise summaries from reviews.

Motivation对于中文，字级别的信息不够，比如“老板”不是

why machine reading comprehension model learn shortcuts 论文阅读创新点设计了两个数据集QWM，SpM量化分析模型学习shortcut trick的阶段，参数量，在shortcut、chanllenge问题的性能Motivationbenchmark上性能很好，但其实只学了shortcuts，现有数据集中很多问题是有shortcut可以解的。比如Q:When did the Scholastic journal come out?P:

Introduction这篇paper是做Transformer压缩的，但其实bert的核心也就是transformer，这篇paper的实验里也做了bert的压缩。作者的主要工作是提出了LayerDrop的方法，即一种结构化的dropout的方法来对transformer模型进行训练，从而在不需要fine-tune的情况下选择一个大网络的子网络。这篇paper方法的核心是通过Dropout来去从大模型中采样子网络，但是这个dropout是对分组权重进行dropout的，具体而言，这篇paper是l