
神经网络
dreamfantacy
这个作者很懒,什么都没留下…
展开
-
神经网络训练中的梯度消失和梯度爆炸问题
梯度消失和梯度爆炸梯度消失的具体表现是,接近于输出层的权值更新相对正常,但是接近于输入层的权值基本不更新,或更新的非常慢。这样,深度网络的学习就等价于只有后几层的浅层网络的学习了。梯度爆炸的具体的表现是,越远离输出层的隐藏层,其权值越大,由于会大幅度的更新网络参数,进而导致网络不稳定,最终无法收敛,或者权重值溢出,即输出值为NaN,而无法再更新权重。产生的原因梯度消失和梯度爆炸是由于神经网...原创 2019-09-16 17:47:22 · 2044 阅读 · 0 评论 -
推荐系统召回之item2vec召回
该召回手段,是基于google提出的word2vec方法,来计算不同items的隐向量,并通过计算不同items间的向量距离,来判断item-to-item间的相似度。参考paper如下:https://arxiv.org/vc/arxiv/papers/1603/1603.04259v2.pdf综述许多协作过滤(CF)算法是通过分析items间的关系来计算相似度的。最近,自然语言处理方面...原创 2019-09-29 15:47:41 · 2630 阅读 · 0 评论