乌云压顶是吧

本文公式较多，建议转至博客阅读(再过几个小时今年的 ACL 就要来了，赶在 ddl 之前，简单介绍一下韦乐，我，千惠，Börje，Yi Guan 等人在 ACL21 上的这篇工作。AdvPicker: Effectively Leveraging Unlabeled Data via Adversarial Discriminator for Cross-Lingual NER (ACL-IJCNLP 2021)✍️Weile Chen, Huiqiang Jiang, Qianhui Wu, Bö

???? Reading Group 的 pdf 版本今天介绍一个小众的 Task, 实体集合拓展(Entity set expansion).Empower Entity Set Expansion via Language Model Probing. ACL 2020.Yunyi Zhang, Jiaming Shen, Jingbo Shang, Jiawei Han任务的目标是拓展原有的实体集合，向其中添加相同类别的实体，注意这里的实体类别一般不是传统的 7 大 NER 类别，更偏向 Fi

???? Reading Group 的 pdf 版本 blog 版本结构化/纯文本之前的一系列将知识融入 BERT 的工作大多基于 entity 三元组这种结构化数据.这就要求有大量且高质量的人工标注(当然我们有 HowNet, WordNet, WikiData), 人工标注必然出现大量噪声, 结构化数据更新周期普遍更长.MLM 的无监督是否是无监督的极限(当然 ERNIE 2.0 ...

这些天冲浪 ???? 了一下 Arxiv，粗翻了一下二月之后 public 的 NLP 文章(有很大一部分是准备投 ICML 的)。也拜读了 张驰原 dalao 的新作《Exploring the Memorization-Generalization Continuum in Deep Learning》. (实验真的做的很漂亮,但感觉有点 data-special 不知道能不能推广到 NLP)...

传送一下知乎“原来你还关注了这个专栏”“这个博主还能敲键盘呀”没错，时隔半年，终于终于要更新了 ????（主要是我太咸鱼了这次主要讨论一下如何增强 Transformer 结构对获取相对位置信息的能力(即 Relative Position Embedding in Transformer Architecture)。Background事实上，Transformer 是一种建立在 ...

多轮检索式对话new SOTA review

小冰架构综述

文本摘要综述

从ECMo, Bert 看Word EMbed 发展史

多轮检索式对话模型综述

blog可能排版更好点GithubUpdate 一下跟室友讨论了一下 才发现有一些我以为很理所应当的点 才是优化的关键 （当然你们看我的code应该也能看出来 只是没点明白）Optimize Point不要试图去开大数据量的二维数组一旦你初始化一个3k✖️3k的数据 你就会发现即使你只是读一下这个数组就会死慢死慢 还要频繁写入 效率可想而知正确的姿势 应该是开一个一维的数组 然...

博客引流终于发完proposal 的邮件 深吸一口气希望明天不要被怼的太惨已经连续~~高强度（hua shui）~~看paper n天了一切 索然无味随着看到的paper层次越来越高就越发羡慕搞NLP的昨天还在跟室友说 一开始觉得写SMN的WuWei dalao指不定是个中年油腻大叔结果人家研究生还没毕业哇 满脸的羡慕言归正传 打算用两三篇blog 讲一下最近学习的多轮检索式对...