《动手学深度学习 pytorch版》代码笔记——第5-8章

最新推荐文章于 2024-09-07 22:50:43 发布
原创 最新推荐文章于 2024-09-07 22:50:43 发布 · 332 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入解析卷积神经网络CNN的关键概念，包括randn()与rand()函数的作用、统一数据类型的必要性及LeNet模型结构。通过具体实例，阐述CNN在图像处理中的应用，如边缘检测和特征提取。

第五章 卷积神经网络

知识点1：randn() 与 rand()

函数作用
np.random.randn()从标准正态分布中返回一个或多个样本值
np.random.rand(m, n)生成m行n列的均匀分布的伪随机数

知识点2：统一数据类型

  • 描述： 5.1.3 图像中物体边缘检测中，第一个小例子会出现 expected backend CPU and dtype Float but got backend CPU and dtype Long 的报错。
  • 解决： 将X的数据类型统一下就可以了，添加 X = torch.tensor(X, dtype=torch.int64)
  • 具体原因和装饰器@torchsnooper.snoop()的使用，参考 《动手学深度学习 pytorch版》代码笔记——第1-4章

知识点3：LeNet 模型
在这里插入图片描述
网络结构如上，简单梳理下结构：

  • 输入(32,32)→卷积核 6个(5,5)/stride=1/padding=0→输出特征图 6个(28,28)
  • 输入6个(28,28)→池化 6个(2,2)/stride=2/padding=0→输出特征图 6个(14,14)
  • 输入6个(14,14)→卷积核 16个(5,5)/stride=1/padding=0→输出特征图 16个(10,10)
  • 输入16个(10,10)→池化 6个(2,2)/stride=2/padding=0→输出特征图 16个(5,5)
  • 输入16个(5,5)→卷积核 120个(5,5)/stride=1/padding=0（相当于全连接层）→输出个数120 →全连接层
  • 输出个数84→全连接层 输出个数10

书上给出的代码是这样的：
在这里插入图片描述
红色框处有个疑问：

卷积神经网络CNN原理详解

  • 有一点需要明确：该层虽然代码写成全连接层，但模型图中实际是卷积层（C5层），但因为恰好输入维度5x5，卷积核也是5x5，因此特征图大小为（5-5+1）×（5-5+1）= 1×1。这样该层就刚好变成了全连接，这只是巧合，如果原始输入的图像比较大（不是32x32了），那该层就不是全连接了。

7.27更
例子中使用的是28*28的灰度图像（感谢评论区同学的解惑），所以：

  • 输入(28,28)→卷积核 6个(5,5)/stride=1/padding=0→输出特征图 6个(24,24)
  • 输入6个(24,24)→池化 6个(2,2)/stride=2/padding=0→输出特征图 6个(12,12)
  • 输入6个(12,12)→卷积核 16个(5,5)/stride=1/padding=0→输出特征图 16个(8,8)
  • 输入16个(8,8)→池化 6个(2,2)/stride=2/padding=0→输出特征图 16个(4,4)
  • 输入16个(4,4)→卷积核 120个(5,5)/stride=1/padding=0（相当于全连接层）→输出个数120 →全连接层
  • 输出个数84→全连接层 输出个数10
Pytorch入门+实战系列五：Pytorch情感分类
Miracle8070
07-26 9140
Pytorch官方文档：https://pytorch.org/docs/stable/torch.html? 1. 写在前面 今天开始，兼顾Pytorch学习， 如果刚刚接触深度学习并且想快速搭建神经网络完成任务享受快感，当然是Keras框架首选，但是如果想在深度学习或人工智能这条路上走的更远，只有Keras就显得有点独木难支，这时候我们需要一个更加强大的框架，这里我想学习Pytorch，它代码通俗易懂，接近Python原生，学起来也容易一些，所以接下来会整理自己在快速入门Pytorch道路上的所见所得，
pytorch-文本情感分类
weixin_42479155的博客
02-25 6226
文本情感分类 文本分类是自然语言处理的一个常见任务，它把一段不定长的文本序列变换为文本的类别。本节关注它的一个子问题：使用文本情感分类来分析文本作者的情绪。这个问题也叫情感分析，并有着广泛的应用。 同搜索近义词和类比词一样，文本分类也属于词嵌入的下游应用。在本节中，我们将应用预训练的词向量和含多个隐藏层的双向循环神经网络与卷积神经网络，来判断一段不定长的文本序列中包含的是正面还是负面的情绪。后续内...
动手学深度学习第五章
穿拖鞋的都是大佬
02-21 701
5.1 def corr2d(X, K): h, w = K.shape Y = tf.Variable(tf.zeros((X.shape[0] - h + 1, X.shape[1] - w +1))) for i in range(Y.shape[0]): for j in range(Y.shape[1]): Y[i,j].assign(tf.cast(tf.reduce_sum(X[i:i+h, j:j+w] * K), dtype
RuntimeError: expected backend CPU and dtype Float but got backend CPU and dtype Long
为学日益 为道日损
08-08 2112
源代码 import torch x = torch.tensor([5]) #初始化权重参数w,偏移量b，设置自动求导 w = torch.randn(1,requires_grad=True) b = torch.randn(1,requires_grad=True) # 实现前向传播 y = torch.mul(w,x) z = torch.add(y,b) print("x,w,b的require_grad属性分别为{},{},{}".format(x.requires_grad,w.requ
pytorch-LSTM情感分类
JohnLeeK的博客
07-13 2154
最近在学习pytorch也是正式从tensorflow转移到pytorch，因为很多论文的源码给出的都是pytorch为了方便自己学习比较新的模型和算法也是在不停的学习中，废话不多说正式开始今天的教程，之前给tensorflow挖的坑有时间了也会填上。 这次使用的数据集比较大我也是放在了百度云盘需要的朋友可以自行获取，链接：https://github.com/JohnLeek/DeepLearning-study，源码放在了github，要是觉得不错对你有所帮助希望你帮忙给本博客点个赞，给我的githu
整理pytorch报错
m0_37663482的博客
03-10 9476
Stack Overflow[1]中有这个问题的描述，自己写了一个dice loss，没法反向传播，报这个错。 原因应该是因为用了torch.argmax()，好像这个函数不可导，所以没法反向传播。但是 ...
Pytorch——BERT 预训练模型及文本分类（情感分类）
ASS-ASH的博客
11-02 4万+
BERT 预训练模型及文本分类 介绍 如果你关注自然语言处理技术的发展，那你一定听说过 BERT，它的诞生对自然语言处理领域具有着里程碑式的意义。本次试验将介绍 BERT 的模型结构，以及将其应用于文本分类实践。 知识点 语言模型和词向量 BERT 结构详解 BERT 文本分类 BERT全称为 Bidirectional Encoder Representations from Transformer，是谷歌在 2018 年 10 月发布的语言表示模型。BERT 通过维基百科和书籍语料组成的庞.
个人学习笔记2：动手学深度学习pytorch版-李沐
浪子L的博客
09-01 1781
主要记录学习笔记，学习书目为李沐老师的《动手学习深度学习》 重预备知识开始记录。 开源书籍地址：https://zh-v2.d2l.ai/chapter_preface/index.htmll 李沐老师B站视频：https://space.bilibili.com/1567748478/channel/seriesdetail?sid=358497
个人学习笔记5-2：动手学深度学习pytorch版-李沐
浪子L的博客
09-07 1675
#深度学习# #人工智能# #神经网络# 主要记录学习笔记，学习书目为李沐老师的《动手学习深度学习》 重预备知识开始记录。 开源书籍地址：https://zh-v2.d2l.ai/chapter_preface/index.htmll 李沐老师B站视频：https://space.bilibili.com/1567748478/channel/seriesdetail?sid=358497
动手学深度学习 PyTorch版 李沐 视频笔记
weixin_45729566的博客
08-06 668
04 数据操作+数据预处理。
跟着李沐学AI（动手学深度学习 PyTorch版）学习笔记——03安装（环境配置d2l、pytorch）（python3.7版本+Windows+各种问题解决措施）
qq_45499204的博客
06-24 1万+
跟着李沐学AI（动手学深度学习 PyTorch版）学习笔记——03安装（python3.7版本+Windows+各种问题解决措施）
《动手学》Pytorch版课程笔记——第一期
格拉迪沃的博客
02-13 438
《动手学》Pytorch版课程笔记——第一期概述1.线性回归2 softmax3多层感知器 概述 在疫情期间宅在家中，偶然得到伯禹教育公益课程，整个课程体系非常系统地介绍了深度学习的体系，但最吸引我的还是pytorch的教学和使用，因为之前因为torch不太会，在看nlp竞赛开源方案时有点麻烦。一次开了一个小小的专题，记录一下为期14天的课程，系统巩固一下知识。整个课程的参考书籍为《动手学深度学习...
基于CNN_Pytorch的文字情感分类
03-30
描述了一系列建立在word2vec之上的卷积神经网络实验。尽管对超参数进行了很少的调整，但带有一层卷积的简单CNN表现得非常好。我们的结果增加了一个已被认可的证据，即无监督词向量的预训练是NLP深度学习的一个重要组成部分。
pytorch LSTM情感分类全部代码
01-06
先运行main.py进行文本序列化，再train.py模型训练 dataset.py from torch.utils.data import DataLoader,Dataset import torch import os from utils import tokenlize import config class ImdbDataset(Dataset): def __init__(self,train=True): super(ImdbDataset,self).__init__() data_path = rH:\073-nlp自然语言处理
Pytorch框架—文本情感分类问题项目（一）
qq_52735683的博客
03-17 562
粒度：文章，段落，句子，词组情感分类（倾向性分析）：积极，中性，消极。
pytorch---情感分析
weixin_34351321的博客
07-04 4658
前言： 　　这个系列一共有8个部分。主要参考了github上的几个代码。 　　使用工具有torchtext，pytorch。 　　数据集主要是烂番茄电影评论数据集https://www.kaggle.com/c/sentiment-analysis-on-movie-reviews。 实验相关： 数据集处理： 　　烂番茄电影评论数据集是包含了训练集和测试集，原始的句子已经通过斯坦福大学...
Pytorch模型定义报错：TypeError: new() received an invalid combination of arguments-got(float, int)
热门推荐
zhangboshen的博客
12-20 5万+
Pytorch定义网络结构的时候出错：TypeError: new() received an invalid combination of arguments - got (float, int), but expected one of: 问题分析 首先，我的错误复现： >>> import torch.nn as nn >>> fc1 = nn.Linea...
深度学习:pytorch常见错误总结
老潘的博客
12-06 2万+
1、expected CPU tensor (got CUDA tensor)期望得到CPU类型张量，得到的却是CUDA张量类型。很典型的错误，例如计算图中有的参数为cuda型有的参数却是cpu型就会遇到这样的错误。>>> import torch >>> from torch.autograd import Variable >>> a = torch.Tensor([1]) >>> b = to
Pytorch实现RNN进行文本（情感）分类
Frierice的博客
02-12 8115
导读 本菜鸟在学习NLP过程中，入门任务中有这么一个任务：用RNN实现文本分类 有如下几个知识点： 1.CNN/RNN 2.pytorch 3.词嵌入 4.Dropout 在这里我就不细说RNN了，毕竟我也不是很熟悉啊哈哈哈，给出一个讲的比较好的博文链接： RNN认识，RNN如何训练的 1.数据集及处理 这里使用的数据集是：Classify the sentiment of sentences f...
动手学深度学习-学习笔记5.1
最新发布
03-31
### 动手学深度学习 第5.1节 学习笔记 在《动手学深度学习》第5.1节中，主要讨论的是卷积层及其基本概念。这一部分介绍了如何通过二维互相关运算理解卷积核的作用以及其在图像处理中的应用[^1]。 #### 卷积层的核心概念 卷积层是卷积神经网络（CNN）的重要组成部分之一。它利用局部感知野的概念来提取输入数据的空间特征。具体来说，在二维空间上滑动一个小窗口（即卷积核），并通过计算该窗口内的加权和得到输出矩阵的一个元素。这种机制使得卷积层能够有效地捕捉到输入数据的局部模式。 以下是实现一个简单的二维互相关运算的例子： ```python import torch from torch import nn def corr2d(X, K): h, w = K.shape Y = torch.zeros((X.shape[0] - h + 1, X.shape[1] - w + 1)) for i in range(Y.shape[0]): for j in range(Y.shape[1]): Y[i, j] = (X[i:i+h, j:j+w]*K).sum() return Y ``` 上述代码展示了如何手动编写一个用于执行二维互相关运算的功能函数 `corr2d` 。此函数接受两个参数：一个是输入矩阵 \(X\) ，另一个是卷积核 \(K\) 。 #### PyTorch 中的卷积操作 除了自己构建外，还可以直接使用 PyTorch 提供的高度优化好的 API 来完成更复杂的任务。例如，可以通过调用 `nn.Conv2d()` 创建一个具有指定超参设置的标准卷积层实例: ```python conv_layer = nn.Conv2d(in_channels=1, out_channels=1, kernel_size=(h,w), bias=False) with torch.no_grad(): conv_layer.weight[:] = K.reshape(conv_layer.weight.shape) output_tensor = conv_layer(input_tensor.unsqueeze(0).unsqueeze(0)).squeeze(0).squeeze(0) print(output_tensor) ``` 这里需要注意的一点是权重初始化的过程——我们通常会禁用梯度追踪以便于显式赋值给卷积层的权重向量[^2]。 #### 性能考量 尽管 CNN 的参数数量相对较少，但由于每个参数都会参与到大量的乘法运算当中去，因此整体计算开销依然较大。为了缓解这个问题，实际部署过程中往往依赖 GPU 加速技术提升效率[^3]。 #### 小批量随机梯度下降 最后值得一提的是，在训练阶段不可避免地涉及到对整个数据集多次迭代访问的需求；而考虑到内存占用等因素的影响，一般采用分批次加载的方式来进行高效的数据管理[^4]。
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值