新词发现

最新推荐文章于 2023-02-21 21:17:33 发布
原创 最新推荐文章于 2023-02-21 21:17:33 发布 · 805 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

算法：
* 计算总词数 -- 是包括单个的字吗
* 过滤掉单个的字
* 过滤掉出现频率小于阈值的词
* 如何计算凝固程度
首先取这个词
分第一个字和剩下的，计算其出现频率乘积
分最后一个字和剩下的，计算其出现频率乘积
取二者的最小值
和这个词的出现频率比值
* 如何计算自由度
右邻字信息熵计算
首先取这个词
取字串为从0到n-2等于这个词的所有词
先排好序计算量很小
左邻字信息熵计算
需要逆序排列下
新词发现方法
01-14
不错的新词发现方法，利用了pat-array, 倒排索引
新词发现（一）：基于统计
weixin_34034261的博客
04-12 454
1. 什么是新词 现在大部分的分词工具已经做到了准确率高、粒度细，但是对于一些新词（new word）却不能做到很好地识别，比如： 快的打车优惠券 英雄联盟怎么不可以打排位 “快的”、“英雄联盟”应该被作为一个词，却被切成了两个词，失去了原有的语义。未登录词（out-of-vocabulary, OOV）笼统地之未在词典中出现的词，序列标注方法HMM与CRF可以根据上下文很好地识别未登录词，但...
关于新词发现
zhzhx0318的专栏
10-16 1225
本笔记摘自：http://www.matrix67.com/blog/archives/5044概述挖掘新词的传统方法是，先对文本进行分词，然后猜测未能成功匹配的剩余片段就是新词。这似乎陷入了一个怪圈：分词的准确性本身就依赖于词库的完整性，如果词库中根本没有新词，我们又怎么能信任分词结果呢? 一种大胆的想法是，首先不依赖于任何已有的词库，仅仅根据词的共同特征，将一段大规模语料中可能成词的文本片段全
java使用Nagao算法实现新词发现、热门词的挖掘
09-03
Nagao算法是一种在中文文本处理中常用的算法，用于实现新词发现和热门词的挖掘。新词发现是指在大量的文本数据中发现之前未被记录或不常见的词语，而热门词挖掘则是指从当前数据中找出频繁出现并受到广泛关注的词汇...
适用于新词发现任务的分布式机器学习算法研究 适用于新词发现场景的分布式机器学习算法探索 面向新词发现工作的分布式机器学习算法解析 针对新词发现需求的分布式机器学习算法介绍 用于新词发现过程的分布式机器
08-17
适用于新词发现任务的分布式机器学习算法研究 适用于新词发现场景的分布式机器学习算法探索 面向新词发现工作的分布式机器学习算法解析 针对新词发现需求的分布式机器学习算法介绍 用于新词发现过程的分布式机器学习...
Python-python3实现互信息和左右熵的新词发现
08-10
在自然语言处理（NLP）领域，新词发现（NEC, New Entity Discovery）是一项重要的任务，它旨在识别文本中的未登录词或专有名词，这些词汇可能在现有的词汇表中不存在。Python作为NLP领域广泛应用的语言，提供了丰富...
基于古汉语语料的新词发现方法.pdf
04-27
### 基于古汉语语料的新词发现方法 #### 概述 本文档探讨了在古汉语领域中如何利用语料库进行新词发现的方法。这种方法对于理解古代文献、挖掘历史信息以及促进语言学研究具有重要意义。古汉语作为中国传统文化的...
精选资源
new-words-algorithm:文本新词发现算法优化案例
05-11
文本网络新词发现算法的优化案例 一、代码结构 优化前的文本网络新词发现算法位于包：com.baitengsoft.bigdata.nwa.algm1 优化后的文本网络新词发现算法位于包：com.baitengsoft.bigdata.nwa.algm2 二、文本网络新词...
Macropodus：自然语言处理工具Macropodus，基于Albert + BiLSTM + CRF深度学习网络架构，中文分词，词性标注，命名实体识别，新词发现，关键词，文本摘要，文本相似度，科学计算器，中文数字阿拉伯NLP的工具（工具），CWS（中文单词识别），POS（词性标记），NER（名称实体识别），查找（新单词）发现），关键字（关键字提取），摘要（文本摘要），Sim（文本相似性），计算（科学计算器），Chi2num（中文至阿拉伯数字）
02-03
Macropodus是一个以Albert + BiLSTM + CRF网络架构为基础，用大量中文语料训练的自然语言处理工具包。将提供中文分词，词性标注，命名实体识别，关键词提取，文本摘要，新词发现，文本相似度，计算器，数字转换，拼音转换，繁简转换等常见的NLP功能。 目录 安装 注意事项默认不安装nlg-yongzhuo, 如果需要该功能自行安装; 默认不指定numpy, pandas, scikit-learn版本, 过高或者过低的版本可能不支持 标准版本的依赖包详见 requirements-all.txt 通过PyPI安装（模型文件另需下载，详见，）： pip install macro
自由度+凝固度+统计的新词发现
我的备忘录
06-09 3992
偶然翻到了2012年的一篇文章，介绍了一种很好玩的新词发现的算法。关键词：自由度、凝固度、n-gram。 自由度： ———表示了一个词组的左右两边的词的固定程度。例如怕上火，下一句是喝王老吉，好像怕上火下一句很少接其他的词，那就是它的自由度不高，而一个真正的词必定可以和很多词配合，所以’怕’+‘上火’就不能构成一个新词。实际上我们统计’怕上火’的左右邻词和邻词的出现次数，并以总的出现次数作为分母计...
中文分词中的新词发现地点切分等问题
01-29 640
在网上看了别人写的，感觉挺好，收录下。 [url]http://blog.sina.com.cn/s/blog_64d0b03c0101bcxk.html[/url] 中文分词做为自然语言处理的第一工序．有着十分重要的意义，在一定程度上可以说，没有分词，所谓的分类，句法树，聚类，特征词提取，文本摘要...都是空谈．分词用简单直白的方法处理就是建立一个自己的词库，然后用正向或逆向方式遍历句子...
python jieba 分词
ouprince
05-07 699
1.分词 import jieba #全模式 , HMM 代表新词发现模式，一般关闭 seg_list = jieba.cut("我来到北京清华大学",cut_all = True, HMM = False) 我 来到 北京 清华 清华大学 华大 大学 #精确模式 seg_list = jieba.cut("我来到北京清华大学",cut_all = False) #默认是 False 我 来...
【中文分词系列】 8. 更好的新词发现算法
热门推荐
人工智能
04-03 1万+
如果依次阅读该系列文章的读者，就会发现这个系列共提供了两种从0到1的无监督分词方案，第一种就是《【中文分词系列】 2. 基于切分的新词发现》，利用相邻字凝固度（互信息）来做构建词库（有了词库，就可以用词典法分词）；另外一种是《【中文分词系列】 5. 基于语言模型的无监督分词》，后者基本上可以说是提供了一种完整的独立于其它文献的无监督分词方法。 但总的来看，总感觉前面一种很快很爽，却又显得
jieba分词原理
yaohaishen的专栏
03-15 4468
转自： 作者：尘嚣看客 链接：https://www.jianshu.com/p/2cccb07d9a4e 来源：简书 引言 “结巴”分词是一个Python 中文分词组件，参见https://github.com/fxsjy/jieba 可以对中文文本进行分词、词性标注、关键词抽取等功能，并且支持自定义词典。 本文包括以下内容： 1、jieba分词包的安装 2、jieba分词的使用教程 3、jieba分词的工作原理与工作流程 4、jieba分词所涉及到的HMM、TextRank、TF-IDF等算法介
SmoothNLP新词发现算法的改进实现
NEU_LightBulb的博客
02-21 1442
SmoothNLP新词发现算法的改进实现，增加多线程提高效率，调优一些算法过程
tfidf新词发现
最新发布
11-02
给定的引用中未提及使用TF-IDF进行新词发现的相关内容。不过可以从TF-IDF本身原理和新词发现的一般思路来推测TF-IDF新词发现方法及相关技术。 TF-IDF（Term Frequency-Inverse Document Frequency）是一种衡量词在文档中重要性的统计方法，综合考虑了词在文档中的出现频率（TF）以及词在整个语料库中的稀有程度（IDF） 。在新词发现场景中，其基本思路可能是利用TF-IDF值来筛选可能的新词。 ### 方法步骤 - **语料收集与预处理**：收集大量的文本语料，对语料进行预处理，如去除标点符号、停用词等，统一文本格式。 - **初步切分**：使用现有的分词工具对文本进行初步切分，得到一些已知的词汇。 - **候选词提取**：从初步切分后的文本中提取可能的新词候选，例如通过滑动窗口的方式，提取一定长度的连续字符序列作为候选词。 - **计算TF-IDF值**：对于每个候选词，计算其在各个文档中的TF-IDF值。TF-IDF值高的候选词既在某些文档中频繁出现，又在整个语料库中相对罕见，更有可能是新词。 - **阈值筛选**：设定一个TF-IDF阈值，筛选出TF-IDF值高于该阈值的候选词作为新词。 ### 相关技术 - **TF-IDF计算技术**：可以使用Python的`sklearn`库中的`TfidfVectorizer`类来计算TF-IDF值。示例代码如下： ```python from sklearn.feature_extraction.text import TfidfVectorizer corpus = [ 'This is the first document.', 'This document is the second document.', 'And this is the third one.', 'Is this the first document?' ] vectorizer = TfidfVectorizer() X = vectorizer.fit_transform(corpus) print(vectorizer.get_feature_names_out()) print(X.toarray()) ``` - **文本预处理技术**：使用正则表达式、`nltk`库等进行文本的清洗和预处理。 - **滑动窗口技术**：通过滑动窗口提取候选词，控制窗口的大小可以调整候选词的长度。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值