- 博客(75)
- 收藏
- 关注
RSS订阅原创 【BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 论文略读】
我们引入了一种新的语言表示模型BERT，它代表了来自变压器的双向编码器表示。与最近的语言表征模型不同(Peters等人，2018a;Radford等人，2018)，BERT的设计是通过对所有层的左右上下文联合条件作用，从无标签文本预训练深度双向表示。因此，只需增加一个输出层，就可以对预先训练的BERT模型进行微调，从而为广泛的任务(如回答问题和语言推理)创建最先进的模型，而无需对特定于任务的架构进行重大修改。BERT概念简单，经验却很强大。
2023-05-25 14:54:28
309
原创 【Toolformer: Language Models Can Teach Themselves to Use Tools 论文略读】
Toolformer: Language Models Can Teach Themselves to Use Tools 论文略读
2023-02-19 12:12:33
1750
原创 【Chinese Lexical Simplification 论文精读】
Chinese Lexical Simplification 论文精读
2023-02-15 15:13:27
1206
原创 【UniHD at TSAR-2022 Shared Task: Is Compute All We Need for Lexical Simplification? 论文精读】
UniHD at TSAR-2022 Shared Task: Is Compute All We Need for Lexical Simplification? 论文精读
2023-02-12 19:29:55
919
原创 【CCTC: A Cross-Sentence Chinese Text Correction Dataset for Native Speakers 论文精读】
CCTC: A Cross-Sentence Chinese Text Correction Dataset for Native Speakers 论文精读
2023-01-07 17:32:04
998
原创 Syntax error, ‘for each‘ statements are only available if source level is 1.5的解决办法
Syntax error, 'for each' statements are only available if source level is 1.5的解决办法
2022-12-30 23:17:24
876
4
原创 Improved Unsupervised Lexical Simplification with Pretrained Encoders 论文精读
本文基于Qiang(2020)(2021)的工作进行扩展。贡献如下：(1)词语简化模型调整为Roberta模型，候选词扩为30个(2)替换词排序，引入新的特征加权方案Cf+WP(单词流行率)+Eq(等效分数)。替代排名有效改进LS系统，WP也可以改进LS系统，有待进一步研究。
2022-12-26 21:08:35
1364
1
原创 Lexical Simplification with Pretrained Encoders 论文精读
当前词语简化生成候选项时仅仅考虑复杂词本身而不考虑整个句子，导致会产生很多虚假候选词，本文利用bert的MLM及下一句预测：利用原句+原句复杂词掩盖输入进bert模型当中，生成候选词，对候选词从多个性能进行综合排序最终输出最优替换，结果均优于之前的嵌入式方法。
2022-12-26 15:48:03
1139
原创 Efficient Estimation of Word Representations in Vector Space 论文精读
Efficient Estimation ofWord Representations in Vector Space 论文精读
2022-10-10 16:37:38
690
原创 刘二大人 PyTorch深度学习实践 笔记 P12 循环神经网络（基础篇）
刘二大人 PyTorch深度学习实践 笔记 P12 循环神经网络（基础篇）
2022-09-23 16:36:41
1594
3
原创 刘二大人 PyTorch深度学习实践 笔记 P11 卷积神经网络（高级篇）
刘二大人 PyTorch深度学习实践 笔记 P11 卷积神经网络（高级篇）
2022-09-19 09:11:09
2439
4
原创 刘二大人 PyTorch深度学习实践 笔记 P10 卷积神经网络（基础篇）
刘二大人 PyTorch深度学习实践 笔记 P10 卷积神经网络（基础篇）
2022-09-12 14:12:39
2810
2
原创 刘二大人 PyTorch深度学习实践 笔记 P5 用PyTorch实现线性回归
刘二大人 PyTorch深度学习实践 笔记 P5 用PyTorch实现线性回归
2022-08-18 12:47:14
1452
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人