NLP自然语言处理系列-词汇挖掘与实体识别

最新推荐文章于 2025-04-16 21:46:33 发布
最新推荐文章于 2025-04-16 21:46:33 发布
阅读量1.1k 收藏 3
点赞数
分类专栏： 人工智能NLP、计算机视觉及大数据Flink技术
热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行
本文链接：https://blog.youkuaiyun.com/duan_zhihua/article/details/114213200
版权
本文深入探讨NLP中的词汇挖掘技术，包括关键词提取、同义词挖掘、缩略词挖掘和新词挖掘。通过主题模型、PageRank、TextRank等方法实现智能摘要，并详细介绍了基于概率图模型、深度学习和CRF的实体识别。同时，通过实例展示了《红楼梦》中新词挖掘的过程，涉及自由疑固度、左右邻字熵等关键指标。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

NLP自然语言处理系列-词汇挖掘与实体识别

词汇挖掘

  • 关键词提取
  • 同义词挖掘
  • 缩略词挖掘
  • 新词挖掘

实体识别（NER）

  • 基于概率图模型
  • 基于深度学习
  • 基于CRF的NER
  • 基于bert+bilstm+crf的NER

目录

关键词提取

在这里插入图片描述
在这里插入图片描述

主题模型

在这里插入图片描述
在这里插入图片描述

</

了解本专栏 订阅专栏 解锁全文 超级会员免费看
自然语言处理之命名实体识别：Bi-LSTM-CRF：中文分词与词性标注
zhubeibei168的博客
04-17 1078
词性标注（Part-of-Speech Tagging，POS Tagging）是自然语言处理中的一个基础任务，它为文本中的每个词附上一个表示其语法功能的词性标签。词性标签通常包括名词、动词、形容词、副词、介词、连词、代词、数词、量词、方位词、时态词、语气词、助词、叹词、拟声词等。双向LSTM（Bi-LSTM）结合了两个LSTM层，一个正向LSTM和一个反向LSTM。正向LSTM从左到右处理序列，而反向LSTM从右到左处理序列。通过这种方式，Bi-LSTM能够同时利用序列的前后文信息，从而提高模型的性能。
自然语言处理之命名实体识别：Bi-LSTM与CRF联合模型
最新发布
zhubeibei168的博客
04-17 744
Bi-LSTM通过结合两个LSTM网络实现这一目标：一个正向LSTM从左到右处理序列，另一个反向LSTM从右到左处理序列。这样，每个时间点的输出都是基于其前后文信息的，从而能够更全面地理解序列中的每个元素。条件随机场(Conditional Random Field, CRF)是一种用于建模序列数据的统计模型，尤其在自然语言处理中，用于序列标注任务，如命名实体识别、词性标注等。CRF模型是马尔可夫随机场在条件概率下的特例，它假设给定观察序列，标签序列之间的依赖关系只与模型参数有关，而与观察序列无关。
NLP文本挖掘
weixin_46966627的博客
07-20 523
NLP天池新闻文本分类—赛题 目录： 赛题理解 赛题数据 学习目标 赛题思路 赛题理解 赛题的名称： 零基础入门NLP之新闻文本类 赛题的任务： 以NLP为背景，对新闻文本进行分类，及处理一个典型的字符识别问题 赛题目标： 通过这道赛题可以引导大家走入自然语言处理的世界，带大家接触NLP的预处理、模型构建 和模型训练等知识点。 赛题数据 赛题以匿名处理后的新闻数据为数据，数据集报名后可见并可下载。赛题数据为新闻文本，并按照字符
【极简版】从理论到实践：自然语言处理与图像识别的全景探秘
JQW_CSU的博客
05-20 1312
自然语言处理（NLP）和图像识别是机器学习的两大领域。
NLP之通过词频发现中文新词
ithinking110的博客
12-25 1334
NLP之通过词频发现中文新词新词发现文本片段代码实现计算自由度 新词发现 新词发现任务是中文自然语言处理的重要步骤。新词有“新”就有“旧”，属于一个相对个概念，在相对的领域（金融、医疗），在相对的时间（过去、现在）都存在新词。文本挖掘会先将文本分词，而通用分词器精度不过，通常需要添加自定义字典补足精度，所以发现新词并加入字典，成为文本挖掘的一个重要工作。 这个和 HMM 发现未登录词还有区别，HM...
nlp命名实体识别Named Entity Recognition NER demo
06-14
nlp命名实体识别Named Entity Recognition NER demo 1.制作word和tag的dic,dic的id是0开始的int,出现频率高的排在前面 2.将每一句话转成2个80维的向量(即最长80个字),第一个是出现句子的 word 的id(train_x),第二个是对应的ner的tag(命名实体)的id(train_y) 3.把(train_x) (train_y) 用深度学习的方法训练后, 以后input一个句子, 就可以返回 对应的tag 4.用 test_x测试准确率
中文实体词典(NLP必备)
02-25
此词典由多个txt文件构成，各个txt分别为不同的类别，比如动漫、电影、电视剧、明星、篮球、美食等多个分类，每个txt中均为对应类目下的中文实体词典，对于分词，命名实体识别的准确率提升十分有帮助！
互联网数据挖掘课程 北大NLP课程-自然语言处理系列课程 第04章 自然语言处理基础 共64页.pdf
04-26
自然语言处理（NLP）则涉及到利用计算机对自然语言进行分析、理解和生成，包括但不限于自动分词、命名实体识别、词性标注、句法分析、语义分析、篇章分析、机器翻译、文本分类、情感分析、信息检索与过滤、自动问答...
自然语言处理之命名实体识别：Bi-LSTM：命名实体识别的评估指标与方法
zhubeibei168的博客
04-16 1065
使用。
数据挖掘干货总结（一）--NLP基础
Shuan_Xi的博客
01-03 2384
本文共计1463字，预计阅读时长八分钟 NLP-基础和中文分词   一、本质 NLP (Natural Language Processing) 自然语言处理是一门研究计算机处理人类语言的技术   二、NLP用来解决什么问题 语音合成（Speech synthesis） 语音识别（Speech recognition）
NLP+美国城市名称自动生成系统
09-15
本代码是在自然语言领域采用基于python中的tflearn工具箱中的AlexNet训练单词自动生成网络，在安装了相关的库文件后可直接运行。
知识图谱课件_baiduyun.txt
11-29
因附件过大，附件为百度云链接）知识图谱课件整理，包括知识表示、知识建模、知识抽取（实体抽取、关系抽取、事件抽取）、知识存储、知识推理、语义搜索、知识问答。
【NLP】同义词挖掘调研
小马日记
08-03 935
中文 NLP（9） -- 实体识别
ouprince
12-04 4441
（1）实体识别 识别 人名，地名，组织机构，日期，时间，百分数，货币这七大实体。重点是人名，地名和组织机构的识别。属于未登录词识别的范畴。 人名特征：当今仍使用，活跃的中文姓氏大致有1000 多个，前 586 个姓占了 98.5%。其余姓氏不到 1.5%。名字用字分布较姓氏用字分布要平缓，分散。共 3679 个名字用字，词性分布也很广泛，不仅有实词，还有各类虚词。 地名特征：较之人名相比，地...
同义词抽取：从知识库中自动发现同义词的方法
qq_22472047的博客
04-19 2035
原论文：《Automatic Synonym Discovery with Knowledge Bases》 背景知识 同义词抽取是一种NLP领域下游任务使用广泛的基础任务，可以用于实体归一、融合，实体链接，query改写，提高召回等任务。现有的方法有：1）直接利用Freebase, WordNet等知识库直接扩充，但这对于领域的实体覆盖率很低；2）人工维护同义词典，成本非常高；3）监督/弱监督方法，训练一个同义词分类器，检测出固定的句式pattern来挖掘同义词，但也需要依赖人工精细的选择一些种子训练
3. 自然语言处理NLP：具体用途（近义词类比词；情感分类；机器翻译）
HaileeRPIJNU的博客
05-26 1626
NLP：具体用途（近义词类比词；情感分类；机器翻译）
学习NLP的第21天——短语提取
长行
05-10 1792
将基于信息熵和互信息的新词提取方法（第20天）中的字符替换为单词，即可将其转换为短语识别的方法。 下面我们仍然使用神超直播间的弹幕的8个小时的时间切片作为例子，使用HanLP中的extractPhrase方法实现。 from pyhanlp import * from utils import file def extract(corpus): text = file.as_string(corpus) # 工具类:将文件读取为str phrase_info_list = HanLP.e
NLP 领域缩略词
牛腩面的博客
01-20 920
自然语言处理及计算语言学常见缩略词 参考链接：https://www.gooseeker.com/cn/node/knowledgebase/nlp_acronym 自然语言处理(NLP, natural language processing)及计算语言学(CL, Computational Linguistics)常见缩略词 ACL = Association for Computat...
中文分词—新词挖掘篇
lzj0470的专栏
10-26 705
大概想法是这样： 找词库完毕，剩下没有找到的所有字符串，进行新词挖掘。 例如： 一篇文章中，没有找到的所有字符串有： 1、杨瑞第集国宁你们 2、杨瑞来你们来国宁 3、过来要不要去 4、要不要过来啊 经过新词挖掘，可以得到 [color=red]杨瑞->你们->国宁->要不要->过来->[/color] 欢迎大家测试！有更好的算法，也可以说一下，讨论讨论~~~ [code="j...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

段智华

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值