干货 | 深度学习在NLP的命名实体识别中(NER)的应用

最新推荐文章于 2025-07-07 00:13:01 发布
最新推荐文章于 2025-07-07 00:13:01 发布
阅读量4.1k 收藏 12
点赞数 1
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/O4dC8OjO7ZL6/article/details/79987828
本文介绍了命名实体识别（NER）在自然语言处理中的重要性，以及传统方法的局限性。重点讨论了LSTM结合条件随机场（CRF）的模型，解释了为何LSTM+CRF能有效处理序列标注任务，特别是如何利用CRF的马尔可夫性质来改善序列输出的合理性。同时，提到了CRF的基础理论和在深度学习中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

点击上方“中兴开发者社区”，关注我们

每天读一篇一线开发者原创好文

640?wx_fmt=png&wxfrom=5&wx_lazy=1

什么是命名实体识别（NER）?

命名实体识别(NER)是自然语言处理(NLP)中的基本任务之一。NLP的一般流程如下：
　　　　　　　　　　

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1&retryload=1

句法分析是NLP任务的核心，NER是句法分析的基础。
NER任务用于识别文本中的人名（PER）、地名（LOC）等具有特定意义的实体。非实体用O来表示。我们以人名来举例：

 
 
     
  
  1. 王  B-
    2. 
 



                

        

    

    
  


        

            

                      
                        最低0.47元/天 解锁文章
                        

                          
200万优质内容无限畅学

                          
                        

                      
            

        


    



                



	

		

			

				
					
『深度应用』NLP命名实体识别(NER)开源实战教程

				
			

			

				

					简明AI工作室
				

				

					08-15
					
					1万+
					
				

			

		

		

			
				
开源地址：https://github.com/xiaosongshine/NLP_NER_RNN_Keras

个人主页：http://www.yansongsong.cn/


近几年来，基于神经网络的深度学习方法在计算机视觉、语音识别等领域取得了巨大成功，另外在自然语言处理领域也取得了不少进展。在NLP的关键性基础任务—命名实体识别（Named Entity Recognition，NER...

			
		

	



                

            
              



	

		

			

				
					
Python系列：NLP系列二：命名实体识别（NER）、用深度学习实现命名实体识别（NER）

				
			

			

				

					weixin_54626591的博客
				

				

					01-17
					
					4077
					
				

			

		

		

			
				
命名实体识别（NER）、用深度学习实现命名实体识别（NER）

			
		

	



              


  
              

                


	

		

			

				
					
自然语言处理   命名实体识别

				
			

			

				

					05-30
				

			

		

		

			
				
该代码是基于深度学习的命名实体识别的实现。命名实体识别是自然语言处理中尤为重要的一部分。

			
		

	





	

		

			

				
					
从CRF到Transformer：搜索实体识别的演进之路

					
最新发布

				
			

			

				

					专注搜索引擎技术
				

				

					07-07
					
					670
					
				

			

		

		

			
				
在搜索场景中，准确识别用户查询中的实体（如“苹果”是水果还是科技公司）是决定搜索结果质量的关键。本文将沿着技术演进的脉络，从经典的条件随机场（CRF）出发，逐步解析深度学习时代Transformer如何重构实体识别的技术范式。通过生活化比喻、代码示例和实际案例，带你理解“上下文建模能力”这一核心命题的技术突破，以及这些突破如何让搜索系统更懂用户意图。从CRF到Transformer，搜索实体识别的演进本质是上下文建模能力的突破CRF通过人工设计的特征和线性链约束解决局部依赖；

			
		

	



		

			
		



	

		

			

				
					
NLP之NER

				
			

			

				

					m0_37565948的博客
				

				

					07-06
					
					3983
					
				

			

		

		

			
				
       最近在研究nlp中的命名实体识别，针对读过的一些文章在此做个总结。

       对于NER的方法，主要分为两大类：基于规则的方法和基于统计的方法。

    （1）基于规则的方法更接近人的思维，例如，针对人名常见的规则：<姓氏>+<名字>、针对地名常见的规则：<地方部分>+<地方指示词>、针对组织名常见的规则：{[人名][地名][组...

			
		

	





	

		

			

				
					
NLP-NER识别

				
			

			

				

					qq_32346223的博客
				

				

					10-27
					
					876
					
				

			

		

		

			
				
全方位理解条件随机场（CRF）：原理、应用举例、CRF++实现 (zhihu.com)利用crf++进行实体识别 - 知乎 (zhihu.com)

			
		

	





	

		

			

				
					
NLP——命名实体识别（NER）

				
			

			

				

					zhuibushixi的博客
				

				

					05-20
					
					2809
					
				

			

		

		

			
				
1、NER（Named Entity Recognition, NER）

NER 是 NLP 的基础任务，指从文本中识别出命名性指称项，为关系抽取等任务做铺垫。狭义上，是识别出人名、地名和组织结构名这三类命名实体。当然，在特定领域中，会相应地定义领域内地各种实体类型。

2、常见地公开的数据集

CoNLL 2003（https://www.clips.uantwerpen.be/conll2003/ner/）

CoNLL2003 中，实体被标注为四种类型：

①LOC（Location，地名）

②O

			
		

	





	

		

			

				
					
超详综述 | 基于深度学习的命名实体识别

				
			

			

				

					Paper weekly
				

				

					05-25
					
					6736
					
				

			

		

		

			
				
©PaperWeekly 原创 ·作者｜马敏博单位｜西南交通大学硕士生研究方向｜命名实体识别论文名称：A Survey on Deep Learning for Named Entit...

			
		

	





	

		

			

				
					
Qwen2大模型微调入门实战-命名实体识别（NER）任务

				
			

			

				

					2401_85782600的博客
				

				

					07-08
					
					1005
					
				

			

		

		

			
				
大模型指令微调（Instruction Tuning）是一种针对大型预训练语言模型的微调技术，其核心目的是增强模型理解和执行特定指令的能力，使模型能够根据用户提供的自然语言指令准确、恰当地生成相应的输出或执行相关任务。指令微调特别关注于提升模型在遵循指令方面的一致性和准确性，从而拓宽模型在各种应用场景中的泛化能力和实用性。在实际应用中，我的理解是，指令微调更多把LLM看作一个更智能、更强大的传统NLP模型（比如Bert），来实现更高精度的NLP任务。

			
		

	





	

		

			

				
					
用深度学习解决NLP中的命名实体识别(NER)问题(深度学习入门项目)

				
			

			

				

					呼延十
				

				

					12-01
					
					3022
					
				

			

		

		

			
				
前言
离线训练

样本数据
训练

数据编码
模型搭建
加载数据


评估模型


在线预测

tensorflow serving 介绍
模型保存格式
加载模型
客户端请求


运行环境
相关链接

本文源码已经上传至 github.: https://github.com/HuBlanker/Keras-Chinese-NER
本文主要理论依据论文：Bidirectional LSTM-CR...

			
		

	





	

		

			

				
					
结巴分词（支持词性标注）

				
			

			

				

					12-17
				

			

		

		

			
				
结巴分词早期版本。
* 结巴分词(java版) jieba-analysis
  首先感谢jieba分词原作者[[https://github.com/fxsjy][fxsjy]]，没有他的无私贡献，我们也不会结识到结巴
  分词，更不会有现在的java版本。

  结巴分词的原始版本为python编写，目前该项目在github上的关注量为170，
  打星727次（最新的数据以原仓库为准），Fork238次，可以说已经有一定的用户群。

  结巴分词(java版)只保留的原项目针对搜索引擎分词的功能(cut_for_index、cut_for_search)，词性标注，关键词提取没有实现(今后如用到，可以考虑实现)。

* 简介
** 支持分词模式
   - Search模式，用于对用户查询词分词
   - Index模式，用于对索引文档分词

** 特性
   - 支持多种分词模式
   - 全角统一转成半角
   - 用户词典功能
   - conf 目录有整理的搜狗细胞词库
   - 支持词性标注(感谢 [[https://github.com/linkerlin][@linkerlin]] 的贡献)

  
* 如何获取
  - 当前稳定版本
    #+BEGIN_SRC xml
      
        com.huaban
        jieba-analysis
        0.0.2
      
    #+END_SRC

  - 当前快照版本
    - 支持词性标注 [[https://github.com/huaban/jieba-analysis/pull/4][#4]]
    - 修复以'-'连接词分词错误问题 [[https://github.com/huaban/jieba-analysis/issues/3][#3]]
    #+BEGIN_SRC xml
      
        com.huaban
        jieba-analysis
        1.0.0-SNAPSHOT
      
    #+END_SRC


* 如何使用
  - Demo
  #+BEGIN_SRC java
    
    @Test
    public void testDemo() {
        JiebaSegmenter segmenter = new JiebaSegmenter();
        String[] sentences =
            new String[] {"这是一个伸手不见五指的黑夜。我叫孙悟空，我爱北京，我爱Python和C++。", "我不喜欢日本和服。", "雷猴回归人间。",
                          "工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作", "结果婚的和尚未结过婚的"};
        for (String sentence : sentences) {
            System.out.println(segmenter.process(sentence, SegMode.INDEX).toString());
        }
    }
  #+END_SRC

* 算法(wiki补充...)
  - [ ] 基于 =trie= 树结构实现高效词图扫描
  - [ ] 生成所有切词可能的有向无环图 =DAG=
  - [ ] 采用动态规划算法计算最佳切词组合
  - [ ] 基于 =HMM= 模型，采用 =Viterbi= (维特比)算法实现未登录词识别

* 性能评估
  - 测试机配置
  #+BEGIN_SRC screen
    Processor 2 Intel(R) Pentium(R) CPU G620 @ 2.60GHz
    Memory：8GB
    
    分词测试时机器开了许多应用(eclipse、emacs、chrome...)，可能
    会影响到测试速度
  #+END_SRC
  - [[src/test/resources/test.txt][测试文本]]
  - 测试结果(单线程，对测试文本逐行分词，并循环调用上万次)
    #+BEGIN_SRC screen
      循环调用一万次
      第一次测试结果：
      time elapsed:12373, rate:2486.986533kb/s, words:917319.94/s
      第二次测试结果：
      time elapsed:12284, rate:2505.005241kb/s, words:923966.10/s
      第三次测试结果：
      time elapsed:12336, rate:2494.445880kb/s, words:920071.30/s
      
      循环调用2万次
      第一次测试结果：
      time elapsed:22237, rate:2767.593144kb/s, words:1020821.12/s
      第二次测试结果：
      time elapsed:22435, rate:2743.167762kb/s, words:1011811.87/s
      第三次测试结果：
      time elapsed:22102, rate:2784.497726kb/s, words:1027056.34/s
      统计结果:词典加载时间1.8s左右，分词效率每秒2Mb多，近100万词。
      
      2 Processor Intel(R) Core(TM) i3-2100 CPU @ 3.10GHz
      12G 测试效果
      time elapsed:19597, rate:3140.428063kb/s, words:1158340.52/s
      time elapsed:20122, rate:3058.491639kb/s, words:1128118.44/s
      
    #+END_SRC

			
		

	





	

		

			

				
					
双向LSTM进行命名实体识别NER

				
			

			

				

					12-20
				

			

		

		

			
				
双向LSTM进行命名实体识别NER

			
		

	





	

		

			

				
					
自然语言处理(NLP)之用深度学习实现命名实体识别(NER)

				
			

			

				

					IT之一小佬的博客
				

				

					05-06
					
					3367
					
				

			

		

		

			
				
自然语言处理(NLP)之用深度学习实现命名实体识别(NER)

几乎所有的NLP都依赖一个强大的语料库，本项目实现NER的语料库如下(文件名为train.txt，一共42000行，这里只展示前15行，可以在文章最后的Github地址下载该语料库)：


played on Monday ( home team in CAPS ) :
VBD IN NNP ( NN NN IN NNP ) :
O O O O O O O O O O
American League
NNP NNP
B-MISC I-MISC


			
		

	





	

		

			

				
					
NLP入门（五）用深度学习实现命名实体识别（NER）

				
			

			

				

					aix26249的博客
				

				

					11-16
					
					1473
					
				

			

		

		

			
				
前言
  在文章：NLP入门（四）命名实体识别（NER）中，笔者介绍了两个实现命名实体识别的工具——NLTK和Stanford NLP。在本文中，我们将会学习到如何使用深度学习工具来自己一步步地实现NER，只要你坚持看完，就一定会很有收获的。
  OK，话不多说，让我们进入正题。
  几乎所有的NLP都依赖一个强大的语料库，本项目实现NER的语料库如下(文件名为train.txt，一共4...

			
		

	





	

		

			

				
					
NLP干货: (4) NER模型的调用和效果评估

				
			

			

				

					JimanBoss的博客
				

				

					03-16
					
					789
					
				

			

		

		

			
				
若NER模型的效果不够好，则可以尝试从几个方面提升：1.增加迭代次数  2.调整学习率和drop参数  3.增加训练数据量。因此本篇将讲述如何调用模型，并评估模型的效果。

			
		

	





	

		

			

				
					
NER | 命名实体识别在QQ音乐上的应用

				
			

			

				

					zenRRan的博客
				

				

					03-05
					
					660
					
				

			

		

		

			
				
每天给你送来NLP技术干货！分享嘉宾：Kevin 腾讯音乐 算法工程师编辑整理：韦国迎天虹出品平台：DataFunTalk导读：命名实体识别（Named Entity Recogniti...

			
		

	





	

		

			

				
					
一文详解深度学习在命名实体识别(NER)中的应用

				
			

			

				

					古月哲亭
				

				

					06-05
					
					4653
					
				

			

		

		

			
				
近几年来，基于神经网络的深度学习方法在计算机视觉、语音识别等领域取得了巨大成功，另外在自然语言处理领域也取得了不少进展。在NLP的关键性基础任务—命名实体识别（Named Entity Recognition，NER）的研究中，深度学习也获得了不错的效果。最近，笔者阅读了一系列基于深度学习的NER研究的相关论文，并将其应用到达观的NER基础模块中，在此进行一下总结，与大家一起分享学习。一、NER ...

			
		

	





	

		

			

				
					
5分钟NLP：快速实现NER的3个预训练库总结

				
			

			

				

					deephub
				

				

					02-21
					
					2675
					
				

			

		

		

			
				
在文本自动理解的NLP任务中，命名实体识别(NER)是首要的任务。NER模型的作用是识别文本语料库中的命名实体例如人名、组织、位置、语言等。
NER模型可以用来理解一个文本句子/短语的意思。它可以识别文本中可能代表who、what和whom的单词，以及文本数据所指的其他主要实体。
在本文中，我们将介绍对文本数据执行 NER 的 3 种技术。 这些技术将涉及预训练和定制训练的命名实体识别模型。

基于 NLTK 的预训练 NER
基于 Spacy 的预训练 NER
基于 BERT 的自定义 NER

基于NL

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值