李宏毅机器学习：RNN（下）

最新推荐文章于 2025-02-18 10:19:33 发布
原创 最新推荐文章于 2025-02-18 10:19:33 发布 · 756 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了RNN在学习过程中的loss function定义，以及训练难点——gradient vanishing和exploding。介绍了BPTT算法在RNN训练中的应用，并指出RNN错误表面的不稳定性。通过对比sigmoid和ReLU激活函数，分析了RNN的问题根源。LSTM通过改变memory的更新方式解决了部分gradient vanishing问题，而GRU通过联动input gate和forget gate提供另一种解决方案。此外，还提到了其他如clockwise RNN和SCRN的优化技巧，以及特定初始化方法对ReLU效果的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

RNN的Learning

RNN在Learning时如何定义loss function呢？以slot filling 为例，对每个输入xi, 其输出的

最低0.47元/天 解锁文章

200万优质内容无限畅学
DDR6、GDDR7、LPDDR6全解：下一代内存技术来袭！车载系统能否玩转？
weixin_43199439的博客
07-16 1215
项目适用场景上车时机预测DDR6高性能座舱/域控2027 年+GDDR7高阶AI/自动驾驶平台2026 年+LPDDR6智能座舱/IVI2025~2026 年。
【第八周】李宏毅机器学习笔记06：RNN
qq_30043925的博客
08-18 1489
本周学习了循环神经网络的基础知识，通过具体案例来了解RNN的应用方式，认识了不同形式的RNN以及LSTM。同时，学习了RNN网络的优缺点以及采用什么方式来避免RNN产生的梯度消失问题。最后，学习到了 Attention-based Model 的基本结构以及两个具体应用案例。RNN（ Recurrent Neural Network，循环神经网络）是一种特殊的神经网络架构，专门设计用于处理序列数据，例如时间序列数据或自然语言文本。
李宏毅深度学习——Recurrent Neural Network (RNN)
m0_58586235的博客
03-15 266
上图中当我们输入Taipei,一个表达的是目的地，另一个表达的是出发地，我们该如何让神经网络在输入相同时，按照情景不同输出不同，这就需要让神经网络具有记忆功能，能够根据Taipei之前面的单词决定相应输出。 RNN是具有记忆功能的网络。隐藏层的输出值被储存在了memory中，memory可以继续作为另一个输入值。 例如下图。设所有的权重都为1，没有偏置值。设在开始时memory为0，所以绿色部分的值计算过程为1*1+1*1+0+0=2。此时将2更新到memory中。橘色部分计算为2*1+...
【李宏毅】RNN
weixin_39915444的博客
07-28 678
Recurrent Neural Network：有记忆的network，因为它储存了记忆，所以就算给它一样的input，output也有可能不一样，因为memory不一样。改变input的顺序，output也会不一样。 RNN也可以用gradient decent训练，用BPTT（Backpropergation Through Time） 为什么同样的输入得到的输出不一样？ ...
【李宏毅】机器学习-RNN
m0_51474171的博客
11-17 715
为什么需要RNN？RNN为什么有记忆力？举例说明
李宏毅机器学习之RNN
Trony的博客
06-23 1092
一、应用举例 Slot Filling 假设订票系统听到用户说：“ i would like to arrive Taipei on November 2nd”，你的系统有一些slot(有一个slot叫做Destination，一个slot叫做time of arrival)，系统要自动知道这边的每一个词汇是属于哪一个slot，比如Taipei属于Destination这个slot，November 2nd属于time of arrival这个slot。 也可以使用一个feedforward n
[李宏毅-机器学习]循环神经网络 RNN
炼丹师
02-17 285
双向RNN LSTM 将xt（向量）使用线性变换为z（向量），其中z的维度就是cell的数目，将每个维度（scale）单独输入到每个cell 得到每个词的词性 clipping 梯度裁剪 当梯度大于阈值的时候，遗弃或缩小该梯度 由于时间的叠加，权重小的变化，会因此梯度剧烈的变动 ...
李宏毅-机器学习-RNN-笔记
qq_41789315的博客
10-03 1160
李宏毅-机器学习课程-笔记
李宏毅机器学习作业：RNN情感分析
该资源是李宏毅2020年机器学习课程的第四次作业，主要内容是使用循环神经网络（RNN）进行句子情感分类。作业要求使用RNN模型，不能借助额外数据或预训练模型。提供的数据包括带有标签的训练数据（training_label.txt...
李宏毅机器学习：HMM/CRF
梆子井欢喜坨的博客
12-28 1347
1. 隐马尔可夫（HMM） 1.1 词性标注(part-of-speech tagging,POS tagging) 李老师的课程由词性标注问题引出隐马尔可夫模型。 词性标注指的是在一串的字词中标注每一个所属的词性，是输入是序列，输出也是序列的结构化学习问题。 这里就有一个问题，同样的单词可能有不同的词性。 比如在下面的例子中，第一个“saw”是动词，第二个“saw”是名词 1.2 隐马尔可夫模型(Hidden Markov Model,HMM) 利用隐马尔可夫模型完成词性标注有两步： 第一步是基于语法生
李宏毅2020机器学习课程课后作业要求+代码.zip
03-14
《李宏毅2020机器学习课程课后作业详解》 李宏毅教授的机器学习课程因其深入浅出的讲解而备受赞誉，这门课程的2020版不仅涵盖了丰富的理论知识，还提供了实战性的课后作业，旨在帮助学生巩固理解并提升实践能力。在...
2022李宏毅机器学习深度学习学习笔记第二周--RNN
qq_45612705的博客
05-01 1192
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录摘要一、RNN（recurrent neural network）slot filling（槽填充）bidirectional RNNLong Short-term Memory(LSTM)二、RNN的详细讲述backpropagation through time (BPTT)RNN application总结 摘要 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都.
李宏毅机器学习：RNN（上）
lavender*的博客
03-08 950
以订票系统中的Slot Filling为例，我们希望订票系统听到用户说:”I would like to arrive Taipei on November 2nd.” 时做好Slot Filling, 即识别出语音中 Taipei 属于 Destination 这个slot, November 2nd 属于 Time of arrival 这个slot, 而其它词汇不属于任何slot。 能否用F...
李宏毅RNN笔记
solejay
04-23 455
文章目录RNNLSTMRNN 的训练RNN 应用 RNN 对于 Slot Filling 问题，需要识别出句子中的某些特定词，比如我要在十一月二号到台北去，识别出目的地是台北，时间是十一月二号。对词进行编码的方法可以采用 1-of-N encoding 和 word hashing 或者其他高级方法，词语表征成向量后丢到神经网络里判断词属于每个 slot 的概率，比如台北属于目的地的概率和属于时间...
李宏毅机器学习-- RNN
snowflier的博客
07-21 483
RNN
机器学习（李宏毅）——RNN
最新发布
Dlog的博客
02-18 1017
机器学习（李宏毅）RNN和LSTM的原理剖析介绍
Recurrent Neural Network(RNN)|李宏毅
m0_61900933的博客
02-08 1406
有记忆的神经网络就是循环神经网络（Recurrent Neural Network）。
【李宏毅机器学习笔记】 23、循环神经网络（Recurrent Neural Network，RNN）
ACL_lihan的博客
03-02 2018
【李宏毅机器学习笔记】1、回归问题（Regression） 【李宏毅机器学习笔记】2、error产生自哪里？ 【李宏毅机器学习笔记】3、gradient descent 【李宏毅机器学习笔记】4、Classification 【李宏毅机器学习笔记】5、Logistic Regression 【李宏毅机器学习笔记】6、简短介绍Deep Learning 【李宏毅机器学习笔记】7、反向传播...
李宏毅学习笔记13.RNN Part I
老毛的博客
06-10 1159
监督学习先放一下，先来学习RNN，本节课先从一个订票系统实例出发，得到前馈神经网络在相同输入只能相同输出的缺点，引入了RNN来解决这个问题。接下来讲解了RNN常见的几种结构，尤其重点讲解了LSTM，并给出了LSTM计算实例
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值