《动手学深度学习》学习笔记(二)

最新推荐文章于 2025-07-05 22:39:30 发布
原创 最新推荐文章于 2025-07-05 22:39:30 发布 · 259 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #神经网络 #机器学习 #深度学习

在此本人要强调一点，原书使用ApacheMXNet框架，但是有个北大的学生却完成了Pytorch版，接下来主要是对与Pytorch版的学习整理，如果有需要求自行学习ApachMXnet。B站上甚至都有ApacheMXNet的斑竹。还可以自行下载官方文档pdf。真的开源free，pdf免费下载。对应PyTorch版本的github。

第二章 预备知识

1、环境配置

1.1 Anaconda

用conda主要解决不同Python版本环境下的兼容问题。

1.2 Jupyter

便于后期回顾和记录输出结果。笔记形式的运行界面。

1.3 PyTorch

不采用ApacheMxnet，而采用了PyTorch

2、数据操作

在PyTo

最低0.47元/天 解锁文章
1.认识深度学习
大勇若怯任卷舒
03-10 335
1.1 传统编程与数据编程 1.1.1 传统编程 大部分程序并不需要深度学习或者是更广义上的人工智能技术 微波炉 邮箱 是否需要真实世界的数据？ 数据特征 如何识别猫？ 1.1.2 数据分析编程 机器学习和深度学习应用共同的核心思想：用数据编程 如何识别猫? 利用数据推断出图像中是否有猫的函数 机器学习与深度学习 一门讨论各式各样的适用于不同问题的函数形式，以及如何使用数据来有效地获取函数参数具体值的学科 区别 深度学习：多层神经网络 1.2 起源 17世纪，雅各比
《动手学深度学习》学习笔记
m0_57248668的博客
05-21 1542
定义模型，即要将输出与输入关联起来。其中X为向量，w为权重，b为偏置。由广播机制，如果将b加入到向量中，则会加到每个向量中。"""线性回归模型""""""小批量随机梯度下降"""b+
动手学习深度学习笔记
u012678323的专栏
04-06 940
阅读指南 第一部分（第1章至第3章）涵盖预备工作和基础知识。第1章介绍深度学习的背景。第2章提供动手学深度学习所需要的预备知识。第3章包括深度学习最基础的概念和技术，如多层感知机和模型正则化。如果读者时间有限，并且只想了解深度学习最基础的概念和技术，那么只需阅读第一部分。 第二部分（第4章至第6章）关注现代深度学习技术。第4章描述深度学习计算的各个重要组成部分，并为实现后续更复杂的模型打下基础。第5章解释近年来令深度学习在计算机视觉领域大获成功的卷积神经网络。第6章阐述近年来常用于处理序列数据的循环神经网
动手学深度学习-学习笔记（一）
sueichen的博客
02-13 657
写在前面 动手学习深度学习的学习笔记是在新冠疫情期间参加了深度学习公益训练营的打卡笔记合集，虽然是训练营的基本要求，但是作为对所学内容的总结与提炼还是很有帮助的。 本文主要内容：线性回归，softmax分类模型与多层感知机 一、线性回归 线性回归输出是一个连续值，因此适用于回归问题。回归问题在实际中很常见，如预测房屋价格、气温、销售额等连续值的问题。回归问题解决的是连续函数...
《动手学深度学习》笔记
qq_42571014的博客
04-14 2676
动手学深度学习
【动手学深度学习】深度学习基础
ccql's Blog
01-24 2183
深度学习基础 文章目录深度学习基础1 线性回归1.1 线性回归从零开始实现生成数据集读取数据初始化模型参数定义模型定义损失函数定义优化算法训练模型1.2 线性回归的简洁实现生成数据集读取数据定义模型初始化模型参数定义损失函数定义优化算法训练模型2 softmax回归2.1 softmax回归的从零开始实现获取数据集初始化模型参数实现softmax运算定义模型定义损失函数定义优化函数计算分类准确率模型训练2.2 softmax回归的简介实现获取和读取数据定义和初始化模型softmax和交叉熵损失函数定义优化算
【李沐】动手学深度学习 学习笔记
热门推荐
chenxiaowai_的博客
03-21 3万+
你好！这是【李沐】动手学深度学习v2-基于pytorch版本的学习笔记教材源代码安装教程（安装pytorch不要用pip，改成conda，pip太慢了，下载不下来）个人推荐学习学习笔记本节代码文件在源代码文件的chapter_deep-learning-computation/custom-layer.ipynb中不带参数的层下面的CenteredLayer类要从其输入中减去均值。要构建它，我们只需继承基础层类并实现前向传播功能。让我们向该层提供一些数据，验证它是否能按预期工作。带参数的层。
动手学深度学习-学习笔记（总）
最新发布
qq_39748832的博客
07-05 788
本篇博客用来记录，我学习《动手学深度学习》的过程和笔记本篇博客主要是整体的博客内容。
动手学深度学习笔记
pi_kaqiu的博客
12-04 1585
简写：i —— 预测的类别；o —— 置信度；σ —— 激活函数；H —— 隐藏层输出超参数：学习率η，batchsize，epoch，num_workers，隐藏层数，每层隐藏层大小，正则项λ（控制模型容量），丢弃概率，核矩阵大小，填充，步幅，输出通道数；常用损失函数：1）回归：L2损失，L1损失，Huber's Robust Loss（前两者的结合）；2）分类：交叉熵常用激活函数：sigmoid函数；Tanh函数；
动手学深度学习-学习笔记（五）
01-06
二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小于输入数组，卷积核在输入数组...
李沐动手学深度学习-学习笔记
03-15
李沐动手学深度学习-学习笔记 深度学习是人工智能领域的热门研究方向，近年来随着计算能力的提升和大数据的普及，深度学习技术在图像识别、语音识别、自然语言处理等多个领域取得了突破性进展。李沐作为深度学习...
动手学深度学习 Task4 笔记
01-06
二、注意力机制与Seq2seq模型 在“编码器—解码器（seq2seq）”⼀节⾥，解码器在各个时间步依赖相同的背景变量（context vector）来获取输⼊序列信息。当编码器为循环神经⽹络时，背景变量来⾃它最终时间步的隐藏...
《动手学深度学习》学习笔记(九)
xiaoyaolangwj的博客
01-31 2716
第九章 计算机视觉 先介绍两种有助于提升模型泛化能力的方法：图像增广和微调。 鉴于深度神经网络能够对图像逐级有效地进行表征：所以广泛应用到目标检测、语义分割和样式迁移这些主流计算机视觉任务中。 全卷积网络对图像做语义分割。 样式迁移技术生成封面图像。 一、图像增广 图像增广（image augmentation）技术通过对训练图像做一系列随机改变，来产生相似但又不同的训练样本，从而扩大训练数据集的规模。 图像增广的另一种解释是，随机改变训练样本可以降低模型对某些属性的依赖，从而提高模型的泛..
《动手学深度学习》学习笔记(六)
xiaoyaolangwj的博客
01-19 2496
第六章 循环神经网络 与之前介绍的多层感知机和能有效处理空间信息的卷积神经网络不同，循环神经网络是为更好地处理时序信息而设计的。 它引入状态变量来存储过去的信息，并用其与当前的输入共同决定当前的输出。 循环神经网络常用于处理序列数据，如一段文字或声音、购物或观影的顺序，甚至是图像中的一行或一列像素。因此，循环神经网络有着极为广泛的实际应用，如语言模型、文本分类、机器翻译、语音识别、图像分析、手写识别和推荐系统。 本章中的应用是基于语言模型的，所以我们将先介绍语言模型的基本概念，并由此激发循环神经..
《动手学深度学习》学习笔记(五)-几种常见的卷积神经网络整理。
xiaoyaolangwj的博客
01-13 1647
第五章 卷积神经网络 几个具有代表性的深度卷积神经网络的设计思路： 1、最早提出的AlexNet 2、后来使用重复元素的网络VGG 3、网络中的网络NiN 4、含并行连结的网络GoogleNet 5、残差网络ResNet 6、稠密连接网络DenseNet 本章中：批量归一化和残差网络为训练和设计深度模型提供了两类重要思路。 一、二维卷积层 1、二维互相关运算 卷积层得名于卷积（convolution）运算，但是我们通常在卷积层中使用更加直观的互相关运算。 2、二维卷...
《动手学深度学习》学习笔记(三)
xiaoyaolangwj的博客
01-07 1192
第三章 深度学习基础 一、线性回归 模型：基于输入计算输出的表达式。 训练模型：通过数据来寻找特定的模型参数值，使模型在数据上的误差尽可能小的过程。找到表达式的参数w1和w2以及b。 训练数据：真实数据样本（sample）。标签标注（label）。预测标签的两个因素叫做特征(feature)。特征用来表征样本的特点。 损失函数：衡量表达式预测值和真实值之间的误差。最小二乘法。 训练模型就是希望基于训练数据找到一组模型参数，来使训练样本的损失函数最小。 优化算法：当模型和损失函数简单时，..
《动手学深度学习》学习笔记(七)
xiaoyaolangwj的博客
01-21 594
第七章 优化算法 一、优化与深度学习 在一个深度学习问题中，我们通常会预先定义一个损失函数。然后使用优化算法试图将其最小化。在优化中，这样的损失函数通常被称作优化问题的目标函数。 解析解和数值解。 深度学习模型的目标函数可能有若干局部最优值。当一个优化问题的数值解在局部最优解附近时，由于目标函数有关解的梯度接近或变成零，最终迭代求得的数值解可能只令目标函数局部最小化而非全局最小化。 由于深度学习模型参数通常都是高维的，目标函数的鞍点通常比局部最小值更常见。 二、梯度下降和随机梯度下降 ...
《动手学深度学习》学习笔记(一)
xiaoyaolangwj的博客
12-29 411
第一章 深度学习简介 与其设计⼀个解决问题的程序，不如从最终的需求⼊⼿来寻找⼀个解决⽅案。事实上，这也是⽬前的机器学习和深度学习应⽤共同的核⼼思想：我们可以称其为“⽤数据编程”。 机器学习是⼀⻔讨论各式各样的适⽤于不同问题的函数形式，以及如何使⽤数据来有效地获取函数参数具体值的学科。深度学习是指机器学习中的⼀类函数，它们的形式通常为多层神经⽹络。 1、起源 ⾃古以来，⼈类就⼀直渴望能从数据中分析出预知未来的窍⻔。实际上，数据分析正是⼤部分⾃然科学的本质，我们希望从⽇常的观测中提取规则，并找寻..
《动手学深度学习》学习笔记(八)
xiaoyaolangwj的博客
01-22 334
第八章 计算性能 一、命令式和符号式混合编程 二、异步计算 三、自动并行计算 四、多GPU计算 五、多GPU计算的简洁实现
动手学深度学习-学习笔记5.1
03-31
### 动手学深度学习 第5.1节 学习笔记 在《动手学深度学习》第5.1节中，主要讨论的是卷积层及其基本概念。这一部分介绍了如何通过二维互相关运算理解卷积核的作用以及其在图像处理中的应用[^1]。 #### 卷积层的核心概念 卷积层是卷积神经网络（CNN）的重要组成部分之一。它利用局部感知野的概念来提取输入数据的空间特征。具体来说，在二维空间上滑动一个小窗口（即卷积核），并通过计算该窗口内的加权和得到输出矩阵的一个元素。这种机制使得卷积层能够有效地捕捉到输入数据的局部模式。 以下是实现一个简单的二维互相关运算的例子： ```python import torch from torch import nn def corr2d(X, K): h, w = K.shape Y = torch.zeros((X.shape[0] - h + 1, X.shape[1] - w + 1)) for i in range(Y.shape[0]): for j in range(Y.shape[1]): Y[i, j] = (X[i:i+h, j:j+w]*K).sum() return Y ``` 上述代码展示了如何手动编写一个用于执行二维互相关运算的功能函数 `corr2d` 。此函数接受两个参数：一个是输入矩阵 \(X\) ，另一个是卷积核 \(K\) 。 #### PyTorch 中的卷积操作 除了自己构建外，还可以直接使用 PyTorch 提供的高度优化好的 API 来完成更复杂的任务。例如，可以通过调用 `nn.Conv2d()` 创建一个具有指定超参设置的标准卷积层实例: ```python conv_layer = nn.Conv2d(in_channels=1, out_channels=1, kernel_size=(h,w), bias=False) with torch.no_grad(): conv_layer.weight[:] = K.reshape(conv_layer.weight.shape) output_tensor = conv_layer(input_tensor.unsqueeze(0).unsqueeze(0)).squeeze(0).squeeze(0) print(output_tensor) ``` 这里需要注意的一点是权重初始化的过程——我们通常会禁用梯度追踪以便于显式赋值给卷积层的权重向量[^2]。 #### 性能考量 尽管 CNN 的参数数量相对较少，但由于每个参数都会参与到大量的乘法运算当中去，因此整体计算开销依然较大。为了缓解这个问题，实际部署过程中往往依赖 GPU 加速技术提升效率[^3]。 #### 小批量随机梯度下降 最后值得一提的是，在训练阶段不可避免地涉及到对整个数据集多次迭代访问的需求；而考虑到内存占用等因素的影响，一般采用分批次加载的方式来进行高效的数据管理[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值