OOV问题的解决

最新推荐文章于 2025-07-29 16:36:01 发布
原创 最新推荐文章于 2025-07-29 16:36:01 发布 · 7k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#OOV #词向量

1）使用subword的方式来解决，可以使用fasttext工具 训练词向量时候会生成subword的词向量的信息[1]；

2）在训练词向量时候，随机删除一些词，置为unknow，训练得到的unkonw就是OOV的词向量信息；

3）skip-thoughts  中有个扩大词库的方法 ;

4）未完待续；

 

 

 

参考：

1）https://blog.youkuaiyun.com/sinat_26917383/article/details/83041424

人工智能大模型即服务时代：OOV问题与解决方案
AI天才研究院
11-12 1140
1.背景介绍 一、什么是大模型 在人工智能领域中，大模型通常指的是数据量足够大的机器学习模型，例如图像分类，语音识别等等。那么什么样的数据量足够大呢？一般来说，越来越多的训练数据和计算资源可以带来更好的性能，但是同时也意味着更高的硬件成本和更多的人力投入，同时需要更加复杂的建模方法和算法。因此，如何通过有效
NLP-生成模型-2016：CopyNet【Copy机制赋予seq2seq模型从源文本中复制词汇的能力，解决Decoder的OOV问题】
u013250861的博客
08-26 1065
本文开篇，作者就提出他们的目标是解决seq2seq模型的复制问题，并且提供了一个例子： 在这个例子中，我们要对用户提出的问题做出回答，显然，蓝色部分根本不需要理解语义，直接复制即可。针对这种情形，作者希望能赋予seq2seq复制的能力。 解决方案其实和前一篇ACL17的文章有些类似。那么为什么先介绍17年的文章，后介绍16年的呢？这是因为ACL17的文章相对较为通俗易懂，我们在读过它后再来理解ACL16的文章会更容易。 模型包含两个部分：Generation-Mode用来根据词汇表生成词汇，然后Copy-
算法工程师面试之OOV问题如何解决？
说文科技，做有态度的研究。
06-20 1万+
NLP中的OOV问题以及处理方式
AI：词嵌入（Word Embedding）中的未登录词（Out-Of-Vocabulary, OOV）问题
xyzroundo的专栏
07-18 798
摘要：未登录词（OOV）问题是NLP中测试词汇未出现在训练词表中的现象，主要由语言动态性、数据局限性和技术限制导致。OOV会降低模型性能，造成信息损失。主流解决方案包括子词分割（如WordPiece、BPE）、字符级模型和混合策略。不同语言OOV率差异显著，中文处理需结合字符级拆分和语素特征。最新进展包括动态词汇扩展和多模态嵌入。实践中建议优先选择支持子词处理的模型（如BERT），中文任务可优化使用全词掩码模型。OOV问题反映语言无限性与模型有限性的矛盾，虽在子词技术推动下有所缓解，但跨语言和低资源领域仍有
西湖大学自然语言处理（七）—— 解决OOV问题的两种平滑技术
qq_45645521的博客
03-29 1477
西湖大学自然语言处理（七）—— 解决OOV问题的两种平滑技术Knesser-Ney Smoothingabsolute discount smoothingGood-Turing Smoothing 平滑的目的——解决数据稀疏性的问题 Knesser-Ney Smoothing 核心思想——劫富济贫 absolute discount smoothing 公式： P(w∣u)=max(uw∈D−δ,0)∑w′uw′+λPKN(w)P(w|u)=\frac {max(uw\in D-\delta , 0)}
pgn model和一些解决oov的方法
weixin_41710583的博客
05-22 1870
本周主要有面对out of vocabulary时的一些方法，以及对应的pgn模型。 1、当我们面对oov问题出现，往往的解决方法有以下： 01 忽略oov 遇到不认识的词，直接忽略，但是这种方法会严重影响文本摘要的意思。 02 用默认的词代替（unk） 但是这种方法会直接造成，摘要内容可读性很差。 03 扩大词表 这种方法，从某种程度上可以缓解。但是也会带来计算量大的问题，以及有一些低频词，是不能很好的学习到其中的意思（因为深度学习是基于统计来学习的）。 04 将token分解为char级别..
讨论OOV（新词，也叫未登录词，词典之外的词语）问题的解决方案
DecafTea的博客
02-05 1572
1. 解决方案 分为两部分： 1）修正领域词典：新词提取，扩充词典 2）缩小词典大小：wordpiece - 将词切分为更小粒度（将词汇拆成实义词+词根）。主要用于英文词典，因为英语的词根是有规律的。 目标：调查具体实现方案、背景知识、代码细节、比较每个方案的优点和问题、讨论适用场景。 2. 新词提取 2.1 具体实现方案 2.2 背景知识 2.3 代码细节 2.4 方案比较 & 适用场景讨论 3. wordpiece 3.1 具体实现方案 3.2 背景知识 3.3 代码细节 3.4 方案比较 &a
NLP-2015：Subword NMT模型【使用子词来解决OOV问题】
u013250861的博客
08-14 983
《原始论文：Neural Machine Translation of Rare Words with Subword Units》 一、概述 1、摘要 神经机器翻译（NMT）模型通常以固定的词汇量运行，但是翻译是一个开放词汇的问题。 先前的工作通过退回到字典来解决词汇外单词的翻译。 在本文中，我们介绍了一种更简单，更有效的方法，通过将稀疏和未知词编码为子词单元序列，使NMT模型能够进行开放词汇翻译。这是基于这样的直觉，即：可以通过比单词小的单位来翻译各种单词类别，例如名称（通过字符复制或音译），复合词（通
OOV问题-论文笔记《Neural Machine Translation of Rare Words with Subwords Units》- ACL2016
爱丽丝咩咩章在好好学习
10-18 8974
原论文链接: https://arxiv.org/abs/1508.07909 参考paperweekly关于分词的一个总结：https://zhuanlan.zhihu.com/p/22700538 这篇文章主要解决的问题是OOV(Out of Vocabulary)问题，最小粒度介于word和character之间，利用BPE算法进行分词。 BPE算法的主要实现如图： import re, c...
减少维吾尔族NMT系统OOV数量的方法
03-14
《减少维吾尔族NMT系统OOV数量的方法》这篇研究论文主要探讨了在神经机器翻译（NMT）系统中，如何有效降低维吾尔语的词汇表外词（OOV，Out-of-Vocabulary）问题。OOV问题在翻译过程中是个普遍挑战，尤其对于像维吾尔...
NLP-生成模型-2017-PGNet：Seq2Seq+Attention+Coverage+Copy【Coverage解决解码端重复解码问题；Copy机制解决解码端OOV问题】【抽取式+生成式】
u013250861的博客
12-24 3707
Pointer Network(指针网络)属于生成式模型。 - 仅用传统的 Seq2Seq 模型可以实现生成式摘要，但存在两个问题： 1. 可能不准确地再现细节, 无法处理词汇不足（OOV）单词/they are liable to reproduce factual details inaccurately; 2. 倾向于重复自己/they tend to repeat themselves。 - 传统的 Seq2Seq 模型中 Decoder 输出的目标数量是固定的，例如翻译时 Decoder 预测
极简使用︱Gensim-FastText 词向量训练以及OOV（out-of-word）问题有效解决
热门推荐
素质云笔记
10-13 4万+
glove/word2vec/fasttext目前词向量比较通用的三种方式，之前三款词向量的原始训练过程还是挺繁琐的，这边笔者列举一下再自己使用过程中快速训练的方式。 其中，word2vec可见：python︱gensim训练word2vec及相关函数与功能理解 glove可见：极简使用︱Glove-python词向量训练与使用 因为是在gensim之中的，需要安装fasttext，可见： htt...
文本生成中的OOV问题
weixin_42887772的博客
07-18 2632
oov问题是文本生成任务中很常见的现象，oov问题是怎么产生的呢？
深入解析OOV问题：自然语言处理中的“未登录词“挑战
weixin_51122828的博客
04-11 1187
#NLP #BERT #OOV问题 #WordPiece #文本处理 #深度学习
Out-Of-Vocabulary（OOV）的理解
zhao_crystal的博客
05-20 2736
OOV 问题是NLP中常见的一个问题，其全称是Out-Of-Vocabulary，下面简要的说了一下OOV： 怎么解决？ 下面说一下Bert中是怎么解决OOV问题，如果一个单词不在词表中，则按照subword的方式逐个拆分token，如果连逐个token都找不到，则直接分配为[unknown] ...
什么是OOV问题
最新发布
weixin_67868534的博客
07-29 362
OOV问题是NLP中词表外词汇导致的难题，会影响词向量表示和模型性能。传统方法使用UNK标记替代OOV词，但会丢失语义信息。现代解决方案主要包括子词分解（BPE、WordPiece）和字符级建模，能有效缓解该问题。当前预训练模型（如BERT、GPT）通过超大词表和子词分词技术，基本解决了OOV问题，但在处理新词或拼写错误时仍可能退化为子词处理。
循环神经网络(RNN)详解及其实现
qq_36630208的博客
12-04 4903
提及 RNN，绝大部分人都知道他是一个用于序列任务的神经网络，会提及他保存了时序信息，但是，为什么需要考虑时序的信息？为什么说 RNN 保存了时序的信息？RNN又存在哪些问题？ 本篇内容将按照以下顺序逐步带你摸清 RNN 的细节之处，并使用 torch 来完成一个自己的文本分类模型。
自然语言处理学习笔记（九）———— OVV Recall Rate与 IV Recall Rate
laosao_66的博客
09-08 1286
IV指的是“登录词”（In Vocabulary），相应的IV Recall Rate 指的是词典中的词汇被正确召回的概率。连词典中的词汇都无法百分之百召回，说明词典分词的消歧能力不好。就算“商品”“和服”“服务”都在词典中，词典分词依然分不对“商品和服务”。OOV指的是“未登录词”（Out Of Vocabulary），或者俗称的“新词”，也即词典未收录的词汇。如何准确切分00V，乃至识别其语义，是整个NLP领域的核心难题之一。
oov_token
05-01
### OOV Token 的概念及其在机器学习中的应用 OOV（Out-of-Vocabulary）Token 是指训练数据集中未出现但在测试或推理阶段遇到的新单词。处理这些未知单词对于自然语言处理（NLP）任务至关重要，因为它们可能导致模型性能下降。 #### 什么是 OOV Token？ 当构建词汇表时，通常会基于训练集来定义一组固定的词汇集合。然而，在实际应用场景中，可能会遇到不在该固定词汇范围内的新词。为了应对这种情况，引入了一个特殊的标记 `<OOV>` 或其他类似的占位符作为默认替代项[^1]。 #### 如何实现 OOV Token？ 以下是 Python 中通过 Keras 实现的一个简单例子： ```python from tensorflow.keras.preprocessing.text import Tokenizer # 初始化 tokenizer 并指定 oov_token 参数 tokenizer = Tokenizer(oov_token="<OOV>") # 假设这是我们的语料库 corpus = [ 'this is the first document', 'this document is the second document', 'and this is the third one', 'is this the first document' ] # 训练 tokenizer tokenizer.fit_on_texts(corpus) # 查看词汇索引映射关系 word_index = tokenizer.word_index print(word_index) # 测试新的句子 test_sentence = ['this sentence contains an unknown word zzz'] sequences = tokenizer.texts_to_sequences(test_sentence) print(sequences) ``` 在这个代码片段里，`<OOV>` 被用来代替任何未曾见过的词语。如果输入中有这样的不可知术语，则会被编码成相同的整数值——即分配给 `<OOV>` 的编号。 #### 数据分割的影响因素分析 另外值得注意的是，在准备数据的过程中如何划分训练/验证/测试子集也会影响最终得到的结果分布情况以及可能产生的 OOV 数量。例如前面提到的数据尺寸信息显示出了各个部分的具体大小比例[^2]: - **Training Set**: 输入维度为 `(25000,)`, 输出同样如此； - **Validation Set**: 各自长度均为 `10000`; - **Testing Set**: 则分别具有形状 `(6250,)`. 这种设定有助于评估模型泛化能力的同时也要考虑到由于样本数量差异而导致的不同频率下低频次项目的覆盖率变化从而间接影响到 OOV 处理策略的选择与效果评价标准制定等方面的工作进展状况反馈机制建立等问题解决方案探讨交流平台建设等等相关内容延伸开来进一步深入研究下去的话就会发现更多值得思考的地方啦！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值