命名实体识别（Named Entity Recognition，NER）-优快云博客

本文介绍了命名实体识别（NER）的基本概念和历史，强调了CRF在NER中的重要性。从传统的机器学习方法到深度学习方法，如BiLSTM-CRF和IDCNN-CRF模型，讨论了它们的结构和优势。数据增强技术也被提及作为提升模型性能的一种策略。总结中指出，神经网络与CRF结合的模型已成为NER的主流，未来研究可能关注迁移学习和半监督学习。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

命名实体识别（Named Entity Recognition，NER）属于NLP中一个关键性基础任务，概念从字面意思上就可以理解，即识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。

从早期基于词典和规则的方法，到传统机器学习的方法，到近年来基于深度学习的方法，NER研究进展的大概趋势大致如下图所示。

在基于机器学习的方法中，NER被当作序列标注问题。利用大规模语料来学习出标注模型，从而对句子的各个位置进行标注。NER 任务中的常用模型包括生成式模型HMM、判别式模型CRF等。条件随机场（ConditionalRandom Field，CRF）是NER目前的主流模型。它的目标函数不仅考虑输入的状态特征函数，而且还包含了标签转移特征函数。在训练时可以使用SGD学习模型参数。在已知模型时，给输入序列求预测输出序列即求使目标函数最大化的最优序列，是一个动态规划问题，可以使用Viterbi算法解码来得到最优标签序列。CRF的优点在于其为一个位置进行标注的过程中可以利用丰富的内部及上下文特征信息。

基于神经网络的方法对序列标注任务（如CWS、POS、NER）的处理方式是类似的：将token从离散one-hot表示映射到低维空间中成为稠密的embedding，随后将句子的embedding序列输入到RNN中，用神经网络自动提取特征，softmax来预测每个token的标签。

这种方法使得模型的训练成为一个端到端的过程，而非传统的pipeline，不依赖于特征工程，是一种数据驱动的方法，但网络种类繁多、对参数设置依赖大，模型可解释性差。此外，这种方法的一个缺点是对每个token打标签的过程是独立的进行，不能直接利用上文已经预