《Word2Vec中的数学》- 神经概率语言模型中的数学运算笔记

最新推荐文章于 2025-02-13 21:01:53 发布
原创 最新推荐文章于 2025-02-13 21:01:53 发布 · 458 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#word2vec 

本文深入探讨了神经概率语言模型（NNML），即word2vec的前身，详细讲解了其网络结构、运算原理及数学公式，包括各层级的运算过程与参数量计算，适合对自然语言处理与深度学习感兴趣的读者。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

神经概率语言模型（或称NNML 神经网络语言模型）中的数学原理

神经概率语言模型是word2vec中算法框架的前身，通过我看到的资料，神经概率语言模型和有的资料中的NNML （神经网络语言模型）应该是指的一个东西。看了《Word2Vec中的数学》中3.3节-神经概率语言模型，本人将其中的运算公式写了下来。本文将注重神经概率语言模型网络结构中各层级的运算，包括运算原理、公式以及各矩阵的维度，个人认为，如果能把整个过程中的公式写出来了，那么神经概率语言模型中的数学原理也就掌握了。

神经概率语言模型网络结构以及各层级之间的运算关系见下图：

神经概率语言模型运算过程

其中，输入层有n-1个输入结点，投影层有(n-1)m个神经元，隐藏层有h个神经元，输出层有D个输出结点

参数量为(n-1)mxh+hxD+p+q。

假设one-hot层到输入层的过程称为过程①，输入层到投影层的过程称为过程②，假设词向量维度m=300，前3个词去预测第4个词，则更详细的解释如下：

神经概率语言模型解释

 

 

YoungshellZzz
关注
自然语言处理基础知识入门(二) Word2vec模型，层次softmax，负采样算法详解
WANGYANG的博客
04-02 2187
在上一篇博文中，详细探讨了NLP（自然语言处理）领域中两个核心技术：基于统计的N-gram模型与基于深度学习的NNLM（神经网络语言模型）。阐明了N-gram模型在处理单词时倾向于将它们视为孤立的单位(独热编码)，这种方法可能忽略了单词之间在某些层面上的相似性，从而在语义理解方面有所不足。这些模型主要依赖于对统计信息的聚合。为了克服这些局限性并赋予词向量丰富的语义信息，可以利用深度神经网络。通过利用目标词语之前的词向量去预测它本身，这种方法成功地为词向量赋予了包含语义信息的能力。
Word2Vec 原理是什么
最新发布
ZJQ的博客
06-23 484
Word2Vec是Google提出的词嵌入模型，通过神经网络将词语转换为连续向量，使向量距离反映语义相关性。它基于"上下文相似的词语义相似"的假设，包含Skip-gram（用目标词预测上下文）和CBOW（用上下文预测目标词）两种架构。模型通过最大化上下文概率进行训练，采用负采样技术优化计算。生成的词向量能捕捉语义关系，支持相似度计算、类比推理和词性聚类等任务。虽然Word2Vec为NLP奠定基础，但也存在无法处理多义词等局限，后被BERT等动态词嵌入模型改进。
语言概率模型和Word2Vec简述
u010379324的博客
03-15 2259
1、 概率语言模型一句话的概率公式：根据一句话中的前文预测下一个词：根据链式概率法则：根据马尔科夫假设，当前词只和前n个词有关系：2. 大名鼎鼎的 n-gram模型为模型想要预测的下一个词，为句子中的历史词语。之后，我们利用极大似然估计优化模型：说起来极大似然很高级，在实现上就是统计各种情况下出现的次数，然后再除以因子来归一化。n-gram的优点：1. 常见的Bigram,Trgram 实现简单，...
（三）Word2vec -- 1 相比神经概率语言模型的改进
FionaDong的博客
08-16 586
1. 相比神经概率语言模型的改进 神经概率语言模型的主要目的是得到语言模型（N-gram模型同上），该过程可以求解出词向量。 而Word2vec模型主要的目的是计算「词向量 word embedding」，因此会引起网络结构的调整；而计算词向量，通常是通过对语言模型的概率求最大似然来实现的。具体展开如下： 1.1 优化网络结构 基于上一小节 神经概率语言模型结尾的内容，可以了解到，对于神经概率语言模型，其缺点主要是计算量太大：具体体现在「隐层和输出层之间的矩阵运算」和「输出层上的Softmax归一化运算」
神经网络语言模型(NNLM)/word2vec学习
zbzckaiA的博客
12-12 690
在学习这块的时候卡在了对于训练目标的确定上,目标函数是什么？随时函数又改怎么确定？主要的难点在于像推荐算法、图片识别等模型均有明显的目标去训练，什么是高潜用户？那张图片上面有一只狗，但是语言模型的目标较为抽象。 1.NNLM(神经网语言模型) https://blog.csdn.net/u010089444/article/details/52624964?ref=myread http:/...
神经网络语言模型(NNML)
solitude23的博客
05-19 2395
把自己对神经网络语言模型(NNML)的一些理解记录下来，有理解不正确的地方还请在评论区批评指正。 原文可在这里阅读下载 模型结构如下图所示： 模型包含：输入层，投影层，隐藏层，以及输出层。 输入层：将前N-1个词(wt−n+1,⋯ ,wt−2,wt−1)(w_{t-n+1}, \cdots,w_{t-2}, w_{t-1})(wt−n+1​,⋯,wt−2​,wt−1​)用1-of-∣V∣|V|∣V∣编码方式(好像是dummy coding，可以参考pandas中的get_dummies函数)编码，VVV是
Keras实现NNLM神经网络语言模型
python__reported的博客
01-27 834
Keras实现NNLM神经网络语言模型一、NNML的效果二、一些问题三、实现代码及解释四、最终效果 一、NNML的效果 较为权威的说法为：输入词序列，求出输出值的概率值，表示根据输入预测出下一个词概率。 简单的说：预测下一个词 实现效果：感觉与索引差不多，唯一不同可能是词向量的存在即索引该词的概率 二、一些问题 参照的文章为金多：《神经网络语言模型 NNLM (Keras实现）》链接: 神经网络语言模型 NNLM (Keras实现）. 总裁余(余登武)：《NNLM语言模型python实现（例子：基于中文语
word2vec模型原理及实现词向量训练案例
rothschild666的博客
03-25 5987
word2vec模型进行词向量训练方法 一、打开语料库官网 搜狗实验室的搜狗新闻语料库官方链接：点击打开官方链接 二、下载语料库数据，首先下拉找到迷你版(样例数据, 110KB)，然后点击第一个红色箭头指向的红色框内容（tar.gz格式），自己选择好保存文件的途径之后点击第二个红色箭头指向的红色框内容（保存）。注意：下载来的文件名是“news_sohusite_xml.smarty.tar.gz”。 三、首先按键盘“windows键+r”打开资源管理器 ，在打开栏输入“cmd”然后点击“确定”。然后通
零基础入门词向量模型（Word2Vec）笔记
qq_62568686的博客
02-13 611
建议配合实践练习（如用小说文本训练词向量模型），观察"皇帝-皇后"、"北京-中国"等词对的相似度变化，感受算法的神奇之处！“通过上下文学习词语含义” → 类比人类学习语言的方式。✅ 掌握Word2Vec的工作原理。这上面只是为了说明。✅ 学会使用Python快速实现。✅ 了解词向量的实际应用场景。Q：词向量维度越高越好吗？Q：如何处理新出现的词汇？Q：中文需要特殊处理吗？✅ 理解词向量的核心思想。
【机器学习】word2vec学习笔记（一）：word2vec源码解析
长相忆兮长相忆的专栏
04-30 1531
本文主要对google的word2vec源码进行了简要的分析，并给出了源码的一些注释。对于word2vec的算法原理并没有进行深入的讨论。
神经网络语言模型 NNML 代码实现
负负得正的博客
07-14 913
输入：K 元语句（Word2Id 形式） 输出：下一个词的概率分布 P 1. 语料库 2. 根据语料库创建词表 构建词与 id 的映射： 构建 id 与词的映射： 输出为预测下一个词的概率分布，所以需要记录词表大小： Word2Vector 需要 Embedding 为几维： 7. 定义 n-gram，用前几个词预测下一个词 8. 定义神经网络隐藏层大小 9. 定义模型 10. 定义损失函数 11. 定义优化器 12. 定义输入 batch 13. 训练 以下两句代码均能实现取出输出结
Hinton的NNML课的学习笔记
haolexiao的专栏
01-11 1789
如何在神经网络中加入先验知识：就是通过设计网络结构来加入 网络的连接性 权重进行约束 激活函数的选择 也可以通过先验，来加入一些人工造的数据Hofman 93年的炼钢炉模型 Mcnemar检测Dropout用来阻止同一层网络之间的合作作用，这些合作作用在拟合的时候是非常有效的，但是会有可能过拟合，如果用来测试的话，就会发现效果不是那么好slashing across a ravine山涧跳，学习速
NNML学习记录
一只小包子的博客
08-22 1130
NNML学习记录 第一章 神经网络识别手写数字 我们希望有一个算法能让我们找到的权重的偏置以至于网络的输出y(x)能够拟合所有的输入x，为了量化我们这一目标我们使用二次代价函数 之所以定义这个二次代价而不是最大化正确分类数目这一直接代价，是因为分类图像关于权重和偏置并不是平滑的，对权重和偏置做微小的改变不会影响到最终的分类效果。这样无法通过梯度下降的方法通过改变权重改变分类器的性能。...
图解Word2vec，读这一篇就够了（通俗易懂）
热门推荐
Java搜索工程技术栈
04-02 3万+
大数据文摘出品 作者：Jay Alammar 编译：张秋玥、毅航、高延、龙心尘 嵌入（embedding）是机器学习中最迷人的想法之一。 如果你曾经使用Siri、Google Assistant、Alexa、Google翻译，甚至智能手机键盘进行下一词预测，那么你很有可能从这个已经成为自然语言处理模型核心的想法中受益。 在过去的几十年中，嵌入技术用于神经网络模型已有相当大的发展。尤其是最近，其发展包括导致BERT和GPT2等尖端模型的语境化嵌入。 BERT： https://jalammar..
word2vec原理（二）：基于Hierarchical Softmax的模型
满腹的小不甘
05-14 1928
在word2vec原理(一) CBOW与Skip-Gram模型基础中，说到了使用神经网络的方法来得到词向量语言模型的原理和一些问题，现在开始关注word2vec的语言模型如何改进传统的神经网络的方法。由于word2vec有两种改进方法，一种是基于Hierarchical Softmax的，另一种是基于Negative Sampling的。本文关注于基于Hierarchical S...
文档的向量化
喝醉酒的小白
02-26 4089
特征工程 - 文档的向量化 - 未经停用词过滤&停用词过滤&N-gram模型过滤
1.2 词向量计算的工具——word2vec （有趣解释+代码）
学习随笔
07-09 2860
参考https://blog.csdn.net/weixin_43002202 https://github.com/graykode/nlp-tutorial 2013年，Google开源了一款用于词向量计算的工具——word2vec，引起了工业界和学术界的关注。首先，word2vec可以在百万数量级的词典和上亿的数据集上进行高效地训练；其次，该工具得到的训练结果——词向量（word emb...
神经网路语言模型(NNLM)的理解
lilong117194的博客
08-24 2万+
用神经网络来训练语言模型的思想最早由百度 IDL （深度学习研究院）的徐伟提出[1],NNLM（Nerual Network Language Model）是这方面的一个经典模型，具体内容可参考 Bengio 2003年发表在JMLR上的论文。 与传统的估算p(wt|wt−(n−1),...wt−1)p(wt|wt−(n−1),...wt−1)p(w_t|w_{t-(n-1)},...w_{t-...
深度学习（二）：详解Word2Vec，从统计语言模型，神经网络语言模型（NNLM）到Hierarchical Softmax、Negative Sampling的CBOW和Skip gram
ChihkAnchor的博客
04-22 2037
首先计算机只认识01数字，要对文本进行处理就需要将单词进行向量化 单词的向量化表示方法 独热表示one-hot 最早对于单词向量化使用的是独热表示。每个单词对应一个向量，这个向量维度等于词汇表的大小，也就是说我有一个词汇表，里面有一万个单词，那么单词的独热表示向量维度就是一万维，对于词汇表中的每个具体的词，只需将其对应的位置置为1，其他位置置0。例子：我们有5个词组成的词汇表，词”Qu...
word2vec数学原理及语言模型发展全解析
文件标题中提到的“word2vec 中的数学原理详解.pdf”应该深入讨论了word2vec模型背后的数学理论。这可能包括数学概念，比如线性代数中的向量空间和矩阵运算，概率论中的随机过程，以及优化理论中的梯度下降算法。该...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值