李沐58_深层循环神经网络——自学笔记

最新推荐文章于 2024-07-29 12:40:03 发布
最新推荐文章于 2024-07-29 12:40:03 发布
阅读量415 收藏
点赞数 6
文章标签： rnn 深度学习 pytorch 神经网络 人工智能 深度循环神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Rrrrrr900/article/details/138127303
版权 
!pip install --upgrade d2l==0.17.5  #d2l需要更新

简洁实现

实现多层循环神经网络所需的许多逻辑细节在高级API中都是现成的。

import torch
from torch import nn
from d2l import torch as d2l

batch_size, num_steps = 32, 35
train_iter, vocab
最低0.47元/天 解锁文章
Rrrrrr900
关注
李沐55_循环神经网络RNN简洁实现——自学笔记
Rrrrrr900的博客
04-19 617
构造一个具有256个隐藏单元的单隐藏层的循环神经网络层rnn_layer。我们使用张量来初始化隐状态，它的形状是（隐藏层数，批量大小，隐藏单元数）。通过一个隐状态和一个输入，我们就可以用更新后的隐状态计算输出。需要强调的是，rnn_layer的“输出”（Y）不涉及输出层的计算： 它是指每个时间步的隐状态，这些隐状态可以用作后续输出层的输入。一个完整的循环神经网络模型定义了一个RNNModel类。注意，rnn_layer只包含隐藏的循环层，我们还需要创建一个单独的输出层。"""循环神经网络模型"""
李沐56_门控循环单元——自学笔记
Rrrrrr900的博客
04-23 762
我们从标准差为0.01的高斯分布中提取权重， 并将偏置项设为0，超参数num_hiddens定义隐藏单元的数量， 实例化与更新门、重置门、候选隐状态和输出层相关的所有权重和偏置。训练结束后，我们分别打印输出训练集的困惑度， 以及前缀“time traveler”和“traveler”的预测序列上的困惑度。此函数返回一个形状为（批量大小，隐藏单元个数）的张量，张量的值全部为零。准备定义门控循环单元模型， 模型的架构与基本的循环神经网络单元是相同的， 只是权重更新公式更为复杂。1.不是每个观察值都是同等重要。
【动手学习pytorch笔记】26.深度循环神经网络
ymk1998的博客
04-11 737
深度循环神经网咯 import torch from torch import nn from d2l import torch as d2l batch_size, num_steps = 32, 35 train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps) 直接用框架实现 vocab_size, num_hiddens, num_layers = len(vocab), 256, 2 num_inputs = vo
（pytorch-深度学习）深度循环神经网络
我亦是行人
12-21 505
深度循环神经网络 循环神经网络只有一个单向的隐藏层，在深度学习应用里，我们通常会用到含有多个隐藏层的循环神经网络，也称作深度循环神经网络。 下图演示了一个有LLL个隐藏层的深度循环神经网络，每个隐藏状态不断传递至当前层的下一时间步和当前时间步的下一层。 具体来说 在时间步ttt里，设小批量输入Xt∈Rn×d\boldsymbol{X}_t \in \mathbb{R}^{n \times d}Xt​∈Rn×d（样本数为nnn，输入个数为ddd） 第ℓ\ellℓ隐藏层（ℓ=1,…,L\ell=1,\ldo
李沐54_循环神经网络RNN——自学笔记
Rrrrrr900的博客
04-19 477
1.循环神经网络的输出取决于当下输入和前一时间的隐变量2.应用到语言模型中时，循环神经网络根据当前词预测下一次时刻词3.通常使用困惑度来衡量语言模型的好坏。
08.6. 循环神经网络的简洁实现
weixin_45063703的博客
10-10 292
使用张量来初始化隐状态，它的形状是（隐藏层数，批量大小，隐藏单元数）。#result# 通过一个隐状态和一个输入，我们就可以用更新后的隐状态计算输出。# result# 定义了一个RNNModel类#@save"""循环神经网络模型"""# 如果RNN是双向的（之后将介绍），num_directions应该是2，否则应该是1else:# 全连接层首先将Y的形状改为(时间步数*批量大小,隐藏单元数)# 它的输出形状是(时间步数*批量大小,词表大小)。# nn.GRU以张量作为隐状态。
李沐动手学习深度学习from d2l import torch as d2l时 cannot import name ‘backend_inline‘ from ‘matplotlib_inline‘
u013347047的博客
10-09 1614
李沐动手学习深度学习from d2l import torch as d2l时 cannot import name 'backend_inline' from 'matplotlib_inline'
李沐60_机器翻译数据集——自学笔记
Rrrrrr900的博客
04-23 915
假设同一个小批量中的每个序列都应该具有相同的长度num_steps， 那么如果文本序列的词元数目少于num_steps时， 我们将继续在其末尾添加特定的“”词元， 直到其长度达到num_steps；此外，我们还记录了每个文本序列的长度， 统计长度时排除了填充词元， 在稍后将要介绍的一些模型会需要这个长度信息。除此之外，我们还指定了额外的特定词元， 例如在小批量时用于将序列填充到相同长度的填充词元（“”）， 以及序列的开始词元（“”）和结束词元（“”）。让我们绘制每个文本序列所包含的词元数量的直方图。
李沐64_注意力机制——自学笔记
Rrrrrr900的博客
04-24 508
注意力机制中，通过query（随意线索）和key（不随意线索）来有偏向性的选择输入。
动手学深度学习番外篇 01.为什么from d2l import torch as d2l
热门推荐
Ysdabaicai的博客
06-09 1万+
代码中遇到的小问题记录
李沐动手学深度学习(pytorch版本)”d2lzh_pytorch”包的缺少安装问题
12-21
学习深度学习时候，很多人参考的是李沐的动手学深度学习Pytorch版本（附上官方地址：https://tangshusen.me/Dive-into-DL-PyTorch/#/）。 在学习3.5.1节 “获取数据集” 时，会遇到d2lzh_pytorch包缺少的问题，经过查阅资料，下面方法可以解决这个问题。 import torch import torchvision import torchvision.transforms as transforms import matplotlib.pyplot as plt import time import sys sys.path.appe
循环神经网络从零开始实现
AlanxZhang的博客
10-11 760
import math import torch from torch import nn from torch.nn import functional as F from d2l import torch as d2l batch_size, num_steps = 32, 35 #bach_size为batch中样本的数量，num_step为一个样本的序列长度 train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps).
深度学习实践 7：手撕RNN网络
white_0629的博客
09-07 481
这段代码实现了一个循环神经网络（RNN）模型，并使用训练数据对其进行训练。
深度学习实战笔记5循环神经网络“读取时光机器数据集””输入字符预测完整句子“完整代码详解
yyyy2711的博客
07-29 696
【代码】深度学习实战笔记5循环神经网络“读取时光机器数据集””输入字符预测完整句子“完整代码详解。
from d2l import torch as d2l这个语句中torch报错的解决方法
weixin_42117855的博客
04-10 469
一、在Anaconda(base)环境下 输入pip install -U d2l。安装成功，重启jupyter notebook。问题解决没有报错，记住在虚拟环境下安装d2l。如果安装出现报错情况，就用豆瓣镜像安装。
动手学习深度学习（总结梳理）——24. 循环神经网络简洁实现
weixin_44981126的博客
10-25 1553
动手学习深度学习（总结梳理）——24. 循环神经网络简洁实现
循环神经网络及Pytorch实现
m0_57098080的博客
06-07 1132
循环神经网络简称RNN，与之前的神经网络不同的是：它的输入包含了上一层的输出和原始输入。非常适合处理序列问题，序列问题中的上一个序列对下一个序列会产生影响，这正是RNN模型中的输入。目前的RNN模型有传统的RNN模型、GRU模型、LSTM模型、Bi-GRU模型、Bi-LSTM模型。正因为RNN模型中上一层的输出也是下一层的输入，所以RNN模型不能进行并行计算。...
深度学习(李沐)—————Softmax回归
qq_26004051的博客
11-09 2564
此次测试发现老是发现缺包，后面发现装的位置不对。先看一下环境文件 发现自己的用户名是gluon ，所以应该在d21-zh文件目录下进cmd应该输入conda activate gluon 然后在各种pip install xxx。 导入包 import torch from IPython import display from d2l import torch as d2l 读取数据集 batch_size = 256 train_iter...
⻔控循环单元（GRU）Pytorch代码
Recursions的博客
08-18 914
⻔控循环单元（GRU）Pytorch代码。
李沐经典卷积神经网络LNET
最新发布
03-10
### 李沐讲解下的LeNet卷积神经网络 #### LeNet架构概述 LeNet作为早期的卷积神经网络之一，在手写字符识别方面取得了显著成果。该模型由多个层次构成，包括两组交替出现的卷积层和下采样层（即最大池化），随后接两个全连接层[^1]。 #### 架构特点 - **输入层**：接受固定大小的灰度图像。 - **卷积层**：通过应用不同数量的小型滤波器来提取局部特征；这些滤波器会在整个图像上滑动以捕捉空间上的模式。 - **激活函数**：通常采用Sigmoid或者ReLU等非线性变换，使网络能够处理更复杂的映射关系。 - **子采样/池化操作**：减少数据维度的同时保留重要信息，有助于提高计算效率并防止过拟合。 ```python import torch.nn as nn class LeNet(nn.Module): def __init__(self, num_classes=10): super(LeNet, self).__init__() # 定义卷积层 self.conv_layers = nn.Sequential( nn.Conv2d(in_channels=1, out_channels=6, kernel_size=5), nn.ReLU(), nn.MaxPool2d(kernel_size=2), nn.Conv2d(in_channels=6, out_channels=16, kernel_size=5), nn.ReLU(), nn.MaxPool2d(kernel_size=2) ) # 定义全连接层 self.fc_layers = nn.Sequential( nn.Linear(16 * 4 * 4, 120), nn.ReLU(), nn.Linear(120, 84), nn.ReLU(), nn.Linear(84, num_classes) ) def forward(self, x): conv_out = self.conv_layers(x).view(-1, 16*4*4) fc_out = self.fc_layers(conv_out) return fc_out ``` #### 关键改进点 相比于传统的多层感知机，LeNet引入了共享权重机制以及稀疏交互特性，这不仅降低了参数量还增强了泛化能力[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值