NLP(自然语言处理)中处理未登陆词的一些方式

最新推荐文章于 2023-05-07 17:48:03 发布
最新推荐文章于 2023-05-07 17:48:03 发布
阅读量4.8k 收藏 1
点赞数 1
分类专栏： deep-learning NLP 机器学习 文章标签： NLP 未登录词 word-piece hybrid
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u010592244/article/details/90765840
版权
本文探讨了处理未登陆词的几种方法，包括基于字符的方法、Word-Piece算法及混合字符/单词模型。Word-Piece适用于字符数有限的拼音文字，如英语；而混合模型更适合处理汉字等形义文字。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

未登陆词的集中处理方式

character-based

word-piece

Word: Jet makers feud over seat width with big orders at stake
wordpieces解码方式1: _J et _makers _fe ud _over _seat _width _with _big _orders _at _stake
wordpieces解码方式2: J #et makers fe #ud over seat width with big orders at stake

hybrid-word/charcter

word: 中国人
hybrid: <B>中 <M>国 <E>人

word-piece适合处理英语等字符数有限拼音文字语言，hybrid适合处理汉语等字符数众多的形义文字/图画文字

解决自然语言处理中的未登录词问题
ZksProlog的博客
09-19 462
因此，在某些情况下，我们可能需要采取其他方法，如基于字符的模型或使用外部知识库来处理未登录词。通过使用这些预训练的词向量，我们可以将未登录词映射到与其语义相似的词向量上，从而为其赋予一定的语义信息。通过使用预训练的词向量模型，我们可以将未登录词映射到与其语义相似的词上，从而提高NLP模型在处理未登录词时的性能。然而，我们需要注意预训练模型的质量和覆盖范围，并在特定情况下考虑其他处理未登录词的方法。对于每个词，我们首先尝试在预训练的词向量模型中查找其词向量，如果找不到，则通过模型的。然后，我们定义了一个。
自然语言处理之未登录词（一）
sophiezjz的博客
11-09 1万+
在中文自然语言处理过程中，我们会遇到很多其他语言不会有的困难，其中一个困难就是分词。首先，因为中文的词与词之间没有空格，从而产生分词歧义的难题，不过目前很多语言模型已经能很好的解决这个难题了。其次，由于中文中存在很多没有被收录在分词词表中但必须切分出来的词，包括各类专有名词（人名、地名、机构名等）、新词等等，从而产生未登录词的难题，不过目前已经广泛使用命名实体识别（NER）来识别出名、地名、机构名...
关于语料库中OOV未登录词的处理方式
TimEcho的博客
01-15 1859
在word2vec训练出来的词向量语料库中，对OOV问题是无法解决的， 方式一：参考word2vec工具中的一段代码 # 加载模型 wvmodel = gensim.models.Word2Vec.load(r'E:\pyCharmProject_new\word2vecTest\model\wiki_corpus.bin') # Remove out-of-vocabulary words. len_pre_oov1 = len(document1) len_pre_oo
【NLP】中文分词之未登录词
zkq_1986的博客
02-27 3649
·未登录词：unknown words，unlisted words, out-of-vocabulary . ·遇到未登录词时，如果没有适用的词汇发现手段，这些词就会被错误地切开，例如：   考  研  的  时候   俄罗斯  总统  梅  德  韦  杰  夫 ·有些未登录词是不可能被穷尽的，例如数字串、人名等等。 ·思考：基于构词知识的未登录词识别。...
NLP-歧义和未登录词
热门推荐
shui_chi_的博客
10-08 1万+
NLP-歧义和未登录词
5分钟了解什么是自然语言处理技术
Tigerobo2017的博客
09-08 2639
*本文约3000字，阅读大约需要5分钟。 自然语言处理（Nature Language Processing，NLP）被誉为“人工智能技术皇冠上的明珠”，一方面表明了它的重要性，另一方面也显现出了它的技术难度。但NLP并不像语音识别、图像识别等人工智能技术一样为人熟知，接下来的5分钟，我们来快速了解NLP技术，感受它的魅力。 NLP是与自然语言的计算机处理有关的技术统称，为了更好地理解，我们把“自然语言处理”拆分成为两部分： 1、自然语言——人和人之间书面或口语交流的形式 2、处理——计算机对数
自然语言处理（NLP）：23 Word2Vec词向量研究以及实践
艾文
07-14 6001
本文主要同大家分享word2vec原理以及应用，通过文本相似度和新闻文本分类为案例进行展开，最后对词向量技术发展进行简述。
python自然语言处理实战学习——1
weixin_46853773的博客
04-01 1059
python自然语言处理实战学习笔记1 自信人生两百年，会当击水三千里。 第一章 NLP基础 1、NLP的概念 NLP（natural language processing，自然语言处理）是计算机科学领域以及人工智能领域的一个重要的研究方向，它研究用计算机来处理、理解以及运用人类语言，达到人与计算机之间进行有效通讯。 音系学：指代语言中发音的系统化组织 词态学：研究单词构成以及互相之间的关系 句法学：给定文本的哪部分是语法正确的 语义学：给定文本的含义是什么 语用学：文本的目的是什么 2、NLP
自然语言处理之未登录词（二）
sophiezjz的博客
11-13 7343
在上一篇博文中已简单介绍了自然语言处理未登录词中新词提取的实现，现在来介绍一下新词提取的原理。 未登录词-新词提取的流程如下图所示： 对于新词提取的原理，主要介绍以下两个方面： 1、利用词频选取候选词语，即种子词语 2、判别候选词语的内部结合紧密程度和外部边界独立性   下面开始详细介绍 一、利用词频选取候选词语，即种子词语 利用N-Gram对语料进行切分，得到词语片段，统计词...
一种快速的未登陆词识别方法(原理和实现)
我要去桂林-田春峰
10-12 5110
一种快速的未登陆词识别方法(原理和实现)        最近网络上关于分词的算法已经很多了,在实际应用中每个人根据对分词的不同理解写了不同的中文分词算法,可谓百花齐放.    但现在似乎还没有针对未登陆词的识别算法,有鉴于此,我特地写了一个,抛砖引玉.    算法的假设:     1. 未登陆词是由单字组成的;    2. 如果一个字同时属于2个未登陆词,那么只选择第一被识别的词;     测试文
关于端到端文本生成中的稀疏词与未登录词问题的探讨
orangefly0214的博客
12-06 1525
转自：http://www.infosec-wiki.com/?p=425981 介绍 本文将会探讨关于自然语言中生成式的序列到序列(Sequence2Sequence)相关模型中的稀疏词/未登录词问题。本文以Encoder-Decoder的端到端文本生成任务，神经机器翻译（NMT）或生成式对话（Chat-bot）为研究对象，并基于此进行探讨。 Encoder-Decoder 是一个十分...
未登录词处理优秀论文——Pointing the Unknown Words
qq_21460525的博客
05-03 3956
论文： 《Pointing the Unknown Words》 作者： Caglar Gulcehre、Sungjin Ahn、Ramesh Nallapati、Bowen Zhou、Yoshua Bengio这篇论文主要是解决低频词和未出现（在测试集中）词的问题——统称“未登录词问题”。 采用了注意力模型。本文的思想是在遇到未登录词时，不要简单的将其记作：UNK，而是将未登录词分作两种情
讨论OOV（新词，也叫未登录词，词典之外的词语）问题的解决方案
DecafTea的博客
02-05 1550
1. 解决方案 分为两部分： 1）修正领域词典：新词提取，扩充词典 2）缩小词典大小：wordpiece - 将词切分为更小粒度（将词汇拆成实义词+词根）。主要用于英文词典，因为英语的词根是有规律的。 目标：调查具体实现方案、背景知识、代码细节、比较每个方案的优点和问题、讨论适用场景。 2. 新词提取 2.1 具体实现方案 2.2 背景知识 2.3 代码细节 2.4 方案比较 & 适用场景讨论 3. wordpiece 3.1 具体实现方案 3.2 背景知识 3.3 代码细节 3.4 方案比较 &a
使用BPE算法处理未登录词
Young, Simple, Naive
11-25 5616
BPE算法的输入是原始字典，其中每个单词被表示成一串字符，BPE算法迭代的执行k次，每次选择一个出现频率最高的符号对进行合并，生成一个新的符号，注意这种合并是不超过单词边界的。 例如原始词典中有张晨光和张晨磊两个单词，频数均为3，但是没有出现张晨 张晨光:3 张晨磊:3 所以我们在使用最大匹配算法进行分词时，如果使用该字典，就会造成张晨被错误分割为张和晨两个词的情况： max match cut...
NLP 中处理不可见/特殊字符工具
05-24 817
https://blog.youkuaiyun.com/xmxoxo/article/details/102544975
Word Embedding 如何处理未登录词？
Harry的博客
05-07 839
在NLP的任务中，你可能要找一种词嵌入方法，不如谷歌的word2vector，斯坦福的GloVe或facebook的fasttext，使用的过程中，你会发现有些单词找不到。下面是我总结的解决方法。
未登陆词／停用词建立和使用
huangqihao723的博客
01-22 3832
refer:https://wenku.baidu.com/view/0029a79a376baf1ffd4fad8d.html https://wenku.baidu.com/view/0029a79a376baf1ffd4fad8d.html 一. 未登陆词：    未登录词即没有被收录在分词词表中但必须切分出来的词，包括各类专有名词（人名、地名、企业名等）、缩写词、新增词汇等等(参
jieba分词未登录词的Viterbi算法源码解析（二）
Jameslvt的博客
07-20 2663
上篇文章已经介绍过如何DAG构建路由，那么接下来说一下对于未登陆词，结巴分词是如何实现分词的，这里就要用到以前说的HMM隐马模型，不知道的话可以看下我的文章：https://blog.youkuaiyun.com/jameslvt/article/details/81087649 ，这篇文章说的很清楚，也介绍了基本的Viterbi算法，另外在上篇文章不是说过一个为什么采用从后往前这种方式计算呢？因为，我们这个...
Java编写的NLP分词软件及登陆界面介绍
资源摘要信息:"本资源是一套涉及自然语言处理（NLP）和用户界面设计的软件包，名为 'NLP.rar_NLP_登陆界面'。该软件包的核心功能是实现正向最大匹配分词算法以及对未登录词汇（未登陆词）的识别功能。在自然语言处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值