ningyanggege的博客

n-gram

作者：JayLou娄杰链接：https://zhuanlan.zhihu.com/p/343231764来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。谈起中文NER任务，NLPer都不陌生。而如今，提升中文NER指标的主要方式是引入词汇信息，JayJay在之前的综述《中文NER的正确打开方式: 词汇增强方法总结》一文中就详细介绍了中文NER的一些主流方法，而SOTA属于FLAT[1]。最近arxiv上的一篇paper《Lex-BERT: Enhancing .

Roberta：Robust optimize bert approach（名字来自于一篇论文题目的缩写）wwm：whole word masking的缩写；经典的bert作mask是随机的，且是基于WordPiece token之上的，没有约束条件。而wwm是将一个单词分成多个word piece后，mask其中一个，那么整个word必须全部被mask，换句话说，mask的最小单位是整个word，而原来是word piece(part of 整个word)案例：[OriginalSente

1. 背景命名实体识别（Named Entity Recognition，简称NER），又称作“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。NER是信息提取、问答系统、句法分析、机器翻译、面向Semantic Web的元数据标注等应用领域的重要基础工具，在自然语言处理技术走向实用化的过程中占有重要的地位。在美团搜索场景下，NER是深度查询理解（Deep Query Understanding，简称 DQU）的底层基础信号，主要应用于搜索召回、用户意图识别、实体链

众所周知，命名实体识别（Named Entity Recognition，NER）是一项基础而又重要的NLP词法分析任务，也往往作为信息抽取、问答系统、机器翻译等方向的或显式或隐式的基础任务。在很多人眼里，NER似乎只是一个书本概念，跟句法分析一样存在感不强。一方面是因为深度学习在NLP领域遍地开花，使得智能问答等曾经复杂的NLP任务，变得可以端到端学习，于是分词、词性分析、NER、句法分析等曾经的显式任务都隐式地编码到了大型神经网络的参数中；另一方面，深度学习流行之后，NER问题相比之前有了比较长足的