nnlm 中的 Softmax

最新推荐文章于 2025-05-14 17:26:38 发布
原创 最新推荐文章于 2025-05-14 17:26:38 发布 · 481 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了在机器学习中概率归一化过程中的常见问题，特别是当所有概率值为零时如何避免错误，并通过使用指数函数来解决这一问题。详细解释了归一化过程中的数学原理及其实现方法。

原本是用来柔化输出值，减小值之间的差。

p[i]=exp(y[i]);
S是所有p[i]的和;
但是当我们需要 L=p[i]/S，而全体p[i]都是0，就会报错，所以实际中我们采用的是： 
p[i]=exp(y[i]-max_y_i);

用来归一化p[i]到0~1之间. 

论文在此：http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf，p1146

word2vec训练优化之Hierarchical Softmax
weixin_43646592的博客
12-30 1648
在word2vec中，我们知道，在最后一层的输出softmax中计算量是非常大的，因为如果词表大小为N，就要计算N个词的概率。而H softmax中则是将N分类问题转变成logN次二分类问题。 因为H softmax中主要就是利用了哈夫曼树（哈夫曼树树相比其他二叉树，更高效、更节省内存编码），这里来个简单介绍： 具体地是结合了哈夫曼树来做，叶子节点代表每个词。非叶子节点对应一个逻辑回归二分类模型。每个词的概率就是从根节点到该叶子节点路径上的所有非叶子节点（逻辑回归的输出概率）之积。这样就不用算N个词的概率
NLP之NNLM：NNLM神经语言模型算法(词向量法的始祖)的简介、网络结构、案例应用、代码实现之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-29 1499
​ NLP之NNLM：NNLM神经语言模型算法(词向量法的始祖)的简介、网络结构、案例应用、代码实现之详细攻略 推荐文章 NLP之NNLM：NNLM神经语言模型算法(词向量法的始祖)的简介、网络结构、案例应用之详细攻略 NLP：Word Embedding词嵌入/word2vec词向量思想方法(一种主流的分布式表示)的简介、使用方法、案例应用之详细攻略 NLP之Word2Vec：Word2Vec算法的简介、安装、使用方法之详细攻略 Paper：《The Illustrated Word2vec》翻
Hierarchical Softmax和负采样
qq_38721353的博客
03-19 587
LSTM的目标函数是： 其中， 但是计算这个概率的分母涉及的计算量太大了，需要在整个字典上计算，所以我们有两种方法去改进这个目标函数。 Hierarchical Softmax：(原因：减少时间复杂度） 层级softmax是在输出层构造一个哈夫曼树，词频为权重，叶子节点为标签，根节点为上一层的输出。对于每个叶子节点，从根节点有唯一一条路径到叶子节点。叶子节点没有对应的向量，而非叶子节点有对应的...
HIerarchical Softmax 模型学习
weixin_49929948的博客
03-09 164
一、CBOW CBOW是Continuous Bag-of-Words Model的缩写，是一种根据上下文的词语预测当前词语出现的概率的模型 输入层是上下文的词语的词向量，在训练cbow模型，词向量只是一个副产品，确切的来说，是cbow模型的一个参数。训练开始的时候，词向量是个随机值，随着训练队的进行不断更新。 投影层对其求和，所谓求和，就是简单的向量加法。 输出层输出最可能的w。由于词料库中词汇量是固定的|c|个，所以上述过程其实可以看做一个多分类问题。给定特征，从|c|个分类中挑一个。
层次softmax (hierarchical softmax）理解
BGoodHabit的博客
05-17 9716
基于word2vec模型学习词的语义向量表示，已在NLP许多任务中都发挥了重要的作用，接下来对词向量学习中的hierarchical softmax的应用做一个分析和学习 CBOW（Continuous Bag-of-Word） One-word context 假设我们vocabulary size 为VVV，hidden layer 神经元个数为NNN，假设我们只有一个上下文单词，则根据这个上下文单词预测目标词，类似于一个bigram model，如下图所示： 输入是一个one-hot编码的vecto
NNLM神经网络语言模型总结
qq_45812220的博客
05-14 370
一开始还以为很复杂，总结一下就是：NNLM 将某个单词前 n−1 个词各自转为 embedding，拼接成一个 (n−1)⋅d 维的向量，再通过隐藏层 + 输出层 + softmax，预测下一个词的概率分布可以发现，这个2003年提出的模型在架构上和GPT，都是用之前的文字预测下一个文字；都是用之前文字的embedding经过一个特殊层（前者是FFN，后者是transformer decoder）来得到一个词表向量，根据向量的分量大小选择某个单词。
NNLM语言模型（原理、反向传播的推导以及python实现）
weixin_45307421的博客
12-30 930
NNLM语言模型（原理、反向传播的推导以及python实现） -1、写这篇博客的目的   以你为研究生选择了自然语言处理方向(NLP)。因为之前对此没有过接触，所以在大四阶段准备对NLP方向的一些算法做一些了解。在阅读《文本数据挖掘》(宗成庆、夏睿、张家俊)这本书的时，发现上面介绍了文本数据挖掘方向的很多算法，但是并未具体的展开，进行详细的推导。   由此，我萌生了将自己学习这本书的过程中对算法的理解、看法、问题以及源代码进行分享的想法。 0、引言   如何将文本用数学的方法表达出来，是文本挖掘的基础。我们
深度学习（二）：详解Word2Vec，从统计语言模型，神经网络语言模型（NNLM）到Hierarchical Softmax、Negative Sampling的CBOW和Skip gram
ChihkAnchor的博客
04-22 2088
首先计算机只认识01数字，要对文本进行处理就需要将单词进行向量化 单词的向量化表示方法 独热表示one-hot 最早对于单词向量化使用的是独热表示。每个单词对应一个向量，这个向量维度等于词汇表的大小，也就是说我有一个词汇表，里面有一万个单词，那么单词的独热表示向量维度就是一万维，对于词汇表中的每个具体的词，只需将其对应的位置置为1，其他位置置0。例子：我们有5个词组成的词汇表，词”Qu...
四、神经网络语言模型（NNLM）
contributed_l的博客
03-06 2567
神经网络（Neural Network，NN）主要由输入层、隐藏层、输出层构成，输入层的的节点数等于待处理数据中输入变量的个数（每一个变量代表了一个特征），输出层的节点数等于与每个输入变量关联的输出的数量（代表了分类标签的个数）。不论是回归还是分类任务，输入和输出层的节点数是固定的（在做二分类时，如果采用 sigmoid 分类器，输出层的个数为 1 个；理论上，隐藏层的层数越深，拟合函数的能力越强，效果按理说会更好，但是实际上更深的层数可能会带来过拟合的问题，同时也会增加训练难度，使模型难以收敛。
基于Hierarchical Softmax的模型
拾遗
12-01 396
红色 绿色 [Word2Vec] Efficient Estimation of Word Representations in Vector Space (Google 2013) Google的Tomas Mikolov提出word2vec的两篇文章之一，这篇文章更具有综述性质，列举了NNLM、RNNLM等诸多词向量模型，但最重要的还是提出了CBOW和Skip-gram两种word2vec的模型结构。虽然词向量的研究早已有之，但不得不说还是Google的word2vec的提出让词向量重归主流.
详解Hierarchical Softmax
大脸猫的博客
07-29 5972
1. 霍夫曼树 输入：权值为(w1,w2,…wn)的n个节点 输出：对应的霍夫曼树 将(w1,w2,…wn)看做是有n棵树的森林，每个树仅有一个节点 在森林中选择根节点权值最小的两棵树进行合并，得到一个新的树，这两颗树分布作为新树的左右子树。新树的根节点权重为左右子树的根节点权重之和 将之前的根节点权值最小的两棵树从森林删除，并把新树加入森林 重复步骤 2 和 3 直到森林里只有一棵树为止 下面我们用一个具体的例子来说明霍夫曼树建立的过程，我们有(a，b，c，d，
Skip-gram模型与Hierarchical Softmax, Negative Sampling的优化方法
yr20133851的博客
03-15 2040
    以前已经看过很多次Skip-gram模型，负取样方法，但是真正用的时候，对其中的原理仍然是一知半解，最近又阅读了一下‘Distributed Representations of Words and Phrases and their Compositionality’这篇文章，想把自己看懂的地方记录下来。可能部分内容有网络的引用，因为完全是比较粗糙的自己记笔记，就不一一列出了。Skip-...
深度学习笔记8：softmax层的实现
l691899397的博客
08-23 6万+
如果有什么疑问或者发现什么错误，欢迎在评论区留言，有时间我会一一回复 softmax简介 Softmax回归模型是logistic回归模型在多分类问题上的推广，在多分类问题中，待分类的类别数量大于2，且类别之间互斥。比如我们的网络要完成的功能是识别0-9这10个手写数字，若最后一层的输出为[0,1,0, 0, 0, 0, 0, 0, 0, 0]，则表明我们网络的识别结果为数字1。 S
word2vec学习笔记（Skip-gram/CBOW + Hierarchy Huffman Tree/Negative sampling）
Aviato
11-21 1515
前言     word2vec是谷歌在2013年推出的一个开源的word embedding工具， 背后的模型包括CBoW ( Continuous Bag of Words )模型（输入context words， 输出center word）和Skip-gram (输入center word， 输出context words)模型。其实两个模型输出的都是softmax向量， 维度与词向量维度相...
轻松理解CBOW模型
分享人工智能学习心得与实践经验，探讨应用场景，见证变革与进步
12-05 8万+
引言前面我分析了Word2vec的一种模型叫做skip-gram模型。在这篇文章中，我将讲述另一个word2vec模型——连续词袋模型（CBOW）模型。如果你理解skip-gram模型，那么接下来的CBOW模型就更好理解了，因为两者模型互为镜像。我们先来看看CBOW模型与skip-gram模型对比图： 如何，这是不是镜像关系？所以接下来的讲解也会和skip-gram那篇文章极其类似。前向传播接
word2vec 中的数学原理详解（一）目录和前言
热门推荐
peghoty
07-19 26万+
word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包，它简单、高效，因此引起了很多人的关注。由于 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4] 中并没有谈及太多算法细节，因而在一定程度上增加了这个工具包的神秘感。一些按捺不住的人于是选择了通过解剖源代码的方式来一窥究竟，出于好奇，我也成为了他们中的一员。读完代码后，觉得收获颇多，整理成文，给有需要的朋友参考。
记录一次与大神们的关于GAN应用于NLP的讨论
加勒比海鲜王
08-27 5699
保留初心，砥砺前行 说实话，是聆听了大神们，本人只是捧哏似的嗯、啊了几句。之前paperweekly的GAN讨论组要进行一次讨论，给出了很多议题进行投票。里边有GAN in NLP、GAN and RL、半监督GAN等我比较感兴趣的话题。也有图像相关的关于GAN的正统问题。没想到最后GAN in NLP获得了最多的票数。我原来对于把GAN应用于NLP叫做剑走偏锋，没想到志同道合的人这么多…接下来是对
神经网路语言模型(NNLM)的理解
lilong117194的博客
08-24 2万+
用神经网络来训练语言模型的思想最早由百度 IDL （深度学习研究院）的徐伟提出[1],NNLM（Nerual Network Language Model）是这方面的一个经典模型，具体内容可参考 Bengio 2003年发表在JMLR上的论文。 与传统的估算p(wt|wt−(n−1),...wt−1)p(wt|wt−(n−1),...wt−1)p(w_t|w_{t-(n-1)},...w_{t-...
n-gram和NNLM
最新发布
06-18
NNLM则通过学习词向量，将词映射到低维连续空间，使得语义相似的词在向量空间中距离更近[^3]。 #### 3. 实现方式 - **n-gram模型**： n-gram模型的实现相对简单，主要步骤包括分词、构建n-gram序列以及计算条件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值