qq_44948213的博客

我们引入了一种新的语言表示模型BERT，它代表了来自变压器的双向编码器表示。与最近的语言表征模型不同(Peters等人，2018a;Radford等人，2018)，BERT的设计是通过对所有层的左右上下文联合条件作用，从无标签文本预训练深度双向表示。因此，只需增加一个输出层，就可以对预先训练的BERT模型进行微调，从而为广泛的任务(如回答问题和语言推理)创建最先进的模型，而无需对特定于任务的架构进行重大修改。BERT概念简单，经验却很强大。

基于众包标注的语文教材句子难易度评估研究 论文精读

Toolformer: Language Models Can Teach Themselves to Use Tools 论文略读

Chinese Lexical Simplification 论文精读

UniHD at TSAR-2022 Shared Task: Is Compute All We Need for Lexical Simplification? 论文精读

CCTC: A Cross-Sentence Chinese Text Correction Dataset for Native Speakers 论文精读

本文基于Qiang(2020)(2021)的工作进行扩展。贡献如下：(1)词语简化模型调整为Roberta模型，候选词扩为30个(2)替换词排序，引入新的特征加权方案Cf+WP(单词流行率)+Eq(等效分数)。替代排名有效改进LS系统，WP也可以改进LS系统，有待进一步研究。

当前词语简化生成候选项时仅仅考虑复杂词本身而不考虑整个句子，导致会产生很多虚假候选词，本文利用bert的MLM及下一句预测：利用原句+原句复杂词掩盖输入进bert模型当中，生成候选词，对候选词从多个性能进行综合排序最终输出最优替换，结果均优于之前的嵌入式方法。

Efficient Estimation ofWord Representations in Vector Space 论文精读