black_shuang的博客

Deep contextualized word representations是2018年NAACL的BestPaper,提出ELMo模型，突破了word2vec glove等传统词向量的限制，所以找了个时间阅读并尝试翻译了一下这篇Paper，水平有限，仅供参考，也欢迎一起学习交流！ 深度语境化词表征 摘要 文章推出了一种新型的深度语境化词表征模型，该模型可以对复杂的词特征（句法、语义）以...

一、前言 本阅读笔记是在阅读BERT模型过程中觉得需要记录的笔记,也是自己的理解记录。如有错误，欢迎指出纠正讨论，谢谢！ 目前该篇仅记录BERT文章的前三章，也就是模型相关介绍，后面的实验以及讨论暂未看完,后期继续更新！ 博客中引用的图片全部来自于BERT原文:https://arxiv.org/pdf/1810.04805.pdf 摘要部分 摘要部分主要概括性的介绍BERT的主体: ...