cs231n'18: Assignment 3 | LSTM Captioning

Assignment3 | LSTM Captioning

上一节介绍了 Vanilla RNN,同 NN 一样,RNN 存在的最大的问题就是梯度消失。这是因为,RNN 中需要学习的参数在一个 time capsule 结束之后才会更新一次,而在同一个 time capsule 中,所有的时刻都会有 loss 产生,因此也都会有对于参数的梯度产生,最后参数更新时的梯度是所有这些梯度之和。梯度的计算式为:
∂ L ∂ W = ∑ t = 1 T ∂ L ( t ) ∂ W = ∑ t = 1 T ∑ k = 0 t ∂ L ( t ) ∂ o ( t ) ∂ o ( t ) ∂ h ( t ) ( ∏ j = k + 1 t ∂ h ( j ) ∂ h ( j − 1 ) ) ∂ h ( k ) ∂ W \frac{\partial L}{\partial W} = \sum_{t=1}^{T} \frac{\partial L^{(t)}}{\partial W} = \sum_{t=1}^{T} \sum_{k=0}^{t} \frac{\partial L^{(t)}}{\partial o^{(t)}} \frac{\partial o^{(t)}}{\partial h^{(t)}} \left( \prod_{j=k+1}^{t} \frac{\partial h^{(j)}}{\partial h^{(j-1)}} \right) \frac{\partial h^{(k)}}{\partial W} WL=t=1TWL(t)=t=1Tk=0to(t)L(t)h(t)o(t)j=k+1th(j1)

### 关于 CS231n 课程作业 3LSTM 的资源和解决方案 对于 CS231n 课程中的第三次作业涉及长期短期记忆网络 (LSTM),可以参考官方发布的 Jupyter Notebook 文件来获取详细的指导说明以及实现细节[^1]。 在该次家庭作业里,学生被鼓励深入理解循环神经元结构特别是 LSTM 单元的工作原理及其参数更新机制。为了帮助完成这项任务,斯坦福大学提供了丰富的学习材料,包括但不限于: - **理论讲解**:通过阅读课程笔记与观看视频讲座了解 LSTMs 如何解决梯度消失问题并有效处理长时间依赖关系。 - **编程实践**:利用 PyTorch 或 TensorFlow 实现一个简单的字符级语言模型,在此过程中掌握如何构建、训练及评估基于 LSTM 的序列预测模型。 下面是一个简化版的 Python 代码片段用于展示如何初始化一个双层双向 LSTM 层: ```python import torch.nn as nn class CharRNN(nn.Module): def __init__(self, input_size, hidden_size, output_size, n_layers=2): super(CharRNN, self).__init__() self.hidden_size = hidden_size self.n_layers = n_layers self.encoder = nn.Embedding(input_size, hidden_size) self.lstm = nn.LSTM(hidden_size, hidden_size, n_layers, batch_first=True, bidirectional=True) self.decoder = nn.Linear(2 * hidden_size, output_size) def forward(self, input, hidden): encoded = self.encoder(input) output, hidden = self.lstm(encoded.view(-1, 1, self.hidden_size), hidden) decoded = self.decoder(output.view(-1, 2*self.hidden_size)) return decoded, hidden def init_hidden(self): h0 = torch.zeros((self.n_layers*2, 1, self.hidden_size)).cuda() c0 = torch.zeros((self.n_layers*2, 1, self.hidden_size)).cuda() return (h0,c0) ``` 值得注意的是,上述代码仅为教学目的而设计,并未针对性能做任何优化;实际应用时可能需要根据具体需求调整架构配置。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值