李宏毅机器学习笔记-12.2 循环神经网络（Recurrent Neural Network-RNN）- part 2

最新推荐文章于 2024-11-22 18:58:54 发布
原创 最新推荐文章于 2024-11-22 18:58:54 发布 · 768 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #深度学习 #神经网络 #RNN #LSTM

本文介绍了RNN在训练过程中的Loss定义、Backpropagation Through Time (BPTT)原理以及训练过程中可能出现的Loss波动问题。通过分析错误表面的陡峭性导致的梯度爆炸，提出clipping作为解决方法。此外，文章还提及LSTM如何通过其结构有效缓解梯度消失问题。

Recurrent Neural Network(RNN) - 循环神经网络（part 2)

1 训练 RNN

1.1 定义 Loss

1526540136112

  • 如上图中，每一个单词对应一个 Slot，将句子按顺序丢进 Network 中，产生一个输出 y，将每个 y 与预期的正确输出做 cross entropy，然后累加起来，就是最终的 Loss。（注意，顺序不能打乱）。

1.2 学习（learning）

  • 定义完 Loss funtion 以后，就可以开始训练了，这次我们用的仍然是 Backpropagation ，但是做了一点改动，所以就叫做 Backpropagetion through time（BPTT），因为我们输入的是一个时间序列，所以 BPTT 考虑了时间的影响。

  • 好的，那这个所谓的 BPTT 是怎么工作的呢？emmmm……….我也不知道，因为老师说这个不讲。反正就只要知道 RNN 是可以用 Gradient Descent 来训练就行了。

    1526540898631

  • 言归正传，我们开始去让 RNN 去学习，但

最低0.47元/天 解锁文章
李宏毅机器学习笔记-12.1 循环神经网络（Recurrent Neural Network-RNN）- part 1
Memory
05-17 1137
Recurrent Neural Network(RNN) - 循环神经网络（part 1) 1 从一个例子说起 假设要做一个智能客服系统或者智能订票系统之类的，需要用到一个叫做 Slot Filling 的技术，举个例子，如果做一个人对智能订票系统说 ”I would like to arrive Taipei on November 2nd“。那么你的系统会有一些 Slot，在这里...
李宏毅机器学习笔记-12.3 循环神经网络（Recurrent Neural Network-RNN）- part 3
Memory
05-18 992
Recurrent Neural Network(RNN) - 循环神经网络（part 3) Gated RNN 0 前言 其实这节课的内容跟我其他这个系列的博客是不属于同一个课程的，但是因为是在 B 站看的视频，up 主可能不小心弄混了，于是我就也一起看了，多学点总没什么错。 虽然不是同一门课，但是确实是同一个老师，也是极其学习的内容，所以就当做一门课也没什么差别。这里给出这节课内容所...
李宏毅机器学习笔记
01-18
李宏毅机器学习笔记，文档文件，笔记全面，总结充分，仅供学习
李宏毅学习笔记13.RNN Part II
老毛的博客
06-13 1265
继续来看RNN，上节虽然了解了RNN的构架，以及如何计算（前向传播过程），但是RNN如何训练（学习）的呢？我们一起来学习吧。
李宏毅机器学习笔记（1）
qq_37217397的博客
01-29 561
李宏毅机器学习笔记（一） 本次学习的资源为B站上2017年李宏毅老师的网课视频。 机器学习的目标 机器学习的目标实际上是通过 training data 找到一个函数，使该函数拥有根据某些输入而输出的能力。类似于给出一些日期来预测pm2.5指数等。这种输出是根据训练的 data 决定的，从而表现出机器具有某种学习的能力。 机器学习的三步骤 Step 1:Model 首先要有一个model，这个mo...
李宏毅机器学习笔记（一）
Chasinglight的博客
11-18 558
1.回归 (1) Loss function ： 预测值与真实值的差 (2)Optimization question：w的更新策略为什么如上所示？ 机器学习的训练基本步骤： 定义函数拟合data->定义损失函数并训练->优化损失函数以确定拟合的函数的未知参数 （3）讨论：linear mode与nonlinear function(model) linear model is too simple， it can't solve compli...
2021李宏毅机器学习笔记--9 Recurrent Neural Network
guoxinxin0605的博客
06-05 455
2021李宏毅机器学习笔记--9 Recurrent Neural Network摘要一、 RNN1.1 Slot Filling1.2 RNN二、 Deep RNN三、 RNN 变型3.1 Elman network3.2 Jordan network3.3 bidirectional RNN四、 LSTM五、 training RNN5.1 BPTT5.2 Training RNN的问题及原因5.3 解决方法5.4 GRU六、 RNN 实际应用6.1 电影评价总结6.2 文章关键词抓取6.3 语音辨识6
[机器学习入门] 李宏毅机器学习笔记-33 (Recurrent Neural Network part 2;循环神经网络 part 2)
Holeung blog
07-30 2654
[机器学习入门] 李宏毅机器学习笔记-33 (Recurrent Neural Network part 2;循环神经网络 part 2) PDF VIDEORNNLearning Target cost就是每一个时间点的output与reference的cross entropy的合，就是minimize的对象。 有了这个lost后，training要怎么做呢？ 不幸的是，RNN
李宏毅机器学习笔记.pdf
08-11
李宏毅机器学习·笔记自己整理成了PDF，现在分享给大家。
李宏毅学习笔记的PDF版
04-22
github上有相关的开源资源！！！！！ 李宏毅老师的机器学习视频是机器学习领域经典的中文视频之一，也被称为中文世界中最好的机器学习视频。李老师以幽默风趣的上课风格让很多晦涩难懂的机器学习理论变得轻松易懂，并且老师会通过很多有趣的例子结合机器学习理论在课堂上展现出来，并且逐步推导深奥的理论知识。比如老师会经常用宝可梦来结合很多机器学习算法。对于想入门机器学习又想看中文讲解的人来说绝对是非常推荐的。
李宏毅学习笔记——2024春《GENERATIVE AI》篇（已完结）
a131529的博客
11-22 9474
李宏毅学习笔记——2024春《GENERATIVE AI》篇
《李宏毅深度学习》CNN 学习笔记
不积跬步，无以至千里
10-21 1237
视频地址：https://www.bilibili.com/video/av23593949?from=search&seid=135729629224253935 在开始李宏毅的课程之前，首先在3blue1brown简单了解了一下神经网络：https://www.bilibili.com/video/av15532370?from=search&seid=12857298627...
李宏毅2017深度学习学习笔记1
read, note and comment papers
07-14 477
pooling 有两种方式，一种是把同一感受野的输出pooling，起到的是maxout network的作用，即把同一感受野通过不同filter的结果进行max out以使模型能辨别多样性输入；另一种是把同一filter 的输出pooling，起到的是down sampling的作用 language model 中的matrix factorization 和 NN 方法 ...
【《2021机器学习-李宏毅》学习笔记】
热门推荐
chh13502的博客
11-08 2万+
台湾大学李宏毅老师开设的《机器学习》近年来广受好评，成为国内众多深度学习/人工智能的学生/爱好者的 入门第一课。本文给出个人在学习过程中所做的笔记总结，希望能帮到大家。
深度学习李宏毅笔记
2301_80134557的博客
10-10 1499
从最原始的梯度下降进化到上式的版本：增加了动量m，步伐大小为动变为，再通过来实现学习率调度。
李宏毅机器学习（2021）学习笔记 01
hldgs的博客
11-29 1037
李宏毅老师《机器学习2021》课程的学习笔记。
李宏毅2022《机器学习/深度学习》——学习笔记（2）
dotJunz的博客
10-05 764
机器学习模型中一般有两类参数：一类需要从数据中学习和估计得到，称为模型参数（Parameter）—即模型本身的参数。还有一类则是机器学习算法中的调优参数（tuning parameters），需要人为设定，称为超参数（Hyperparameter）。这里引入了新的概念 batch，将总的训练集随机划分成一个个 batch，用每一个 batch 计算一个 Loss，计算梯度，更新一次。激活函数可以嵌套，把上一层激活函数的结果作为下一层激活函数的输入，这样函数的未知参数就会更多了，模型也更加复杂。
李宏毅深度学习笔记——呕心整理版
Red_Elf的博客
12-06 9674
机器学习就是寻找一个复杂函数。深度学习的函数就是类神经网络。
李宏毅机器学习rnn笔记
最新发布
05-31
### 李宏毅机器学习课程中关于RNN的笔记内容概述 李宏毅机器学习课程中，RNN（循环神经网络）的相关内容涵盖了基础理论、实际应用以及解决梯度消失问题的方法。以下是相关内容的详细总结： #### 一、RNN的基本概念与结构 循环神经网络（Recurrent Neural Network, RNN）是一种用于处理序列数据的神经网络模型[^1]。其核心特点是能够保存先前计算的状态信息，并将其作为当前输入的一部分参与计算。这种机制使得RNN可以捕捉时间序列中的依赖关系。例如，在自然语言处理任务中，RNN可以通过记住前面的词来预测下一个词。 ```python import torch import torch.nn as nn class SimpleRNN(nn.Module): def __init__(self, input_size, hidden_size, output_size): super(SimpleRNN, self).__init__() self.hidden_size = hidden_size self.rnn = nn.RNN(input_size, hidden_size, batch_first=True) self.fc = nn.Linear(hidden_size, output_size) def forward(self, x): h0 = torch.zeros(1, x.size(0), self.hidden_size).to(x.device) out, _ = self.rnn(x, h0) out = self.fc(out[:, -1, :]) return out ``` #### 二、双向RNN（Bidirectional RNN） 为了同时考虑前文和后文的信息，提出了双向RNN（Bidirectional RNN）。该模型通过两个独立的隐藏层分别从前向后和从后向前处理输入序列，最终将两者的结果合并以获得更丰富的上下文信息[^3]。 #### 三、长短时记忆网络（LSTM） 尽管RNN在理论上可以捕捉长距离依赖关系，但在实践中由于梯度消失或爆炸问题，通常难以有效建模长序列。为此，提出了长短时记忆网络（Long Short-Term Memory, LSTM），它通过引入门控机制（输入门、遗忘门、输出门）解决了这一问题[^2]。 #### 四、梯度消失问题及其解决方案 RNN在训练过程中容易遇到梯度消失问题，这会导致模型无法学习到长距离依赖关系。为了解决这一问题，除了使用LSTM外，还可以通过以下方法进行改进： - 使用残差连接（Residual Connections）。 - 应用正则化技术，如Dropout。 - 初始化权重矩阵以改善梯度传播[^4]。 #### 五、RNN的应用场景 RNN广泛应用于自然语言处理领域，包括但不限于： - 机器翻译：将一种语言的句子转换为另一种语言。 - 情感分析：判断文本的情感倾向。 - 文本生成：根据给定的前缀自动生成后续内容。 --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值