深度学习 小知识笔记

最新推荐文章于 2025-07-05 22:39:30 发布
原创 最新推荐文章于 2025-07-05 22:39:30 发布 · 293 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #深度学习 #神经网络 #python #pytorch

本文介绍了梯度下降算法的不同变种，包括batch梯度下降、mini-batch梯度下降及随机梯度下降，并详细讨论了几种高级优化算法：动量优化算法、RMSprop以及结合两者的Adam算法。Adam优化器因其自适应学习率而被广泛认为是最佳选择。

关于优化算法

首先看梯度下降算法关于训练集的分类：

batch梯度下降：更新一次梯度使用的是整个训练集
mini-batch梯度下降：更新一次梯度使用的是一个mini-batch，这是目前最常用的方法
随机梯度下降(SGD)：训练每一个样本都要更新一次梯度

（但是在莫凡pytorch里面的 regression 和 classification 这两节里面，明明是对自己生成的100个样本点进行batch梯度下降，但他使用的优化器居然是torch.optim.SGD()???这也行。。。）

具体的优化算法：

最原始的就是我们最先接触的标准梯度下降法
然后发明了基于指数加权平均的动量优化算法
接着发明了类似的全方根算法RMSprop
最后就是结合了动量梯度下降和RMSprop的Adam算法
注：Adam优化器自带可以自己调节的学习率，这一点非常方便

（根据莫凡pytorch中的四个优化器算法的对比，Adam是最强的，DCASE异常检测baseline使用的也是Adam优化器，所以下次犹豫不决的时候直接Adam就完事了）

深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 36万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
深度学习笔记（1）机器学习与深度学习基础
hanliu2003的博客
08-28 1312
一些深度学习的简单概念和Transformer的学习。
Python 小知识笔记
rambo_csdn_123的博客
07-20 210
由于我学Python的时候是跟着菜鸟教程学的，只花了一周时间就粗糙地开始使用Python了，导致还有很多的Python小知识或者小技巧我还没有掌握，所以在这里记录一下，查漏补缺： 1.切片 [start:end:step] 和 range(start, end, step) 取数是一样的 >>> a = list(range(10)) >>> >>> a [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] >>> &
《吴恩达深度学习》学习笔记（上）
weixin_41554699的博客
02-23 1401
我们把一个有输入和输出的计算单元叫做“神经元”。最简单的神经元就是一个线性函数。比如预测房价和房屋面积的关系时，我们会用一个线性函数去拟合。这个线性函数就是一个神经元。事实上，一个神经元不仅包含一个线性函数，还包括一个激活函数。这里提到了激活函数 ReLU 的概念，其具体内容应该会在后面的课程里介绍。如图所示举例，不同的X变量如房子大小/房间数量/邮编地段 最后会得到一个房价的预测，省去了中间的自己完成推算的过程。在用一个神经元来表示房价和房屋面积的关系时，神经元的输入是房屋面积，输出是房价。而用。
python学习笔记（深度学习）
qq_39748832的博客
06-25 1558
本篇博客用来记录，在深度学习过程中，常用的 python 语法内容。
深度学习吴恩达笔记
liuzhiyuanzui的博客
10-15 2680
个人笔试，不全
《深度学习入门》学习笔记①
qq_47689743的博客
07-26 1616
该文章所记录的来自《深度学习入门：基于Python的理论与实现》。我个人认为该书对于初学者比较友好，讲述清晰简单，并非繁杂的纯理论知识，对于新概念该书会进行类比，让读者容易理解。初学者可以看一下。
深度学习 学习笔记总结
qq_43588670的博客
12-26 1859
这周将深度学习的东西写一点总结吧，也算是对研一的一个小总结，要加油呀呀呀。提示：以下是本篇文章正文内容，寻欢桑知识水平有限，请大家多多批评1.IMDB 是一家在线收集各种电影信息的网站 和豆瓣类似，用户可以再上面发表对电影的评价。IMDB数据集御用情感分析的IMDB电影评论二分类数据集，包含25000个训练样本和25000个测试样本，所有影评都被标记为正面和负面两种评价。IMDB数据集地址#导入IMDB模块#导入数据。
动手学深度学习-学习笔记（总）
qq_39748832的博客
07-05 790
本篇博客用来记录，我学习《动手学深度学习》的过程和笔记本篇博客主要是整体的博客内容。
【李沐】动手学深度学习 学习笔记
chenxiaowai_的博客
03-21 3万+
你好！这是【李沐】动手学深度学习v2-基于pytorch版本的学习笔记教材源代码安装教程（安装pytorch不要用pip，改成conda，pip太慢了，下载不下来）个人推荐学习学习笔记本节代码文件在源代码文件的chapter_deep-learning-computation/custom-layer.ipynb中不带参数的层下面的CenteredLayer类要从其输入中减去均值。要构建它，我们只需继承基础层类并实现前向传播功能。让我们向该层提供一些数据，验证它是否能按预期工作。带参数的层。
精选资源
吴恩达深度学习笔记.pdf
11-21
【吴恩达深度学习笔记】是一份针对吴恩达教授在Coursera平台上的深度学习课程的详尽笔记，旨在帮助已有一定编程基础和机器学习知识的计算机专业人士深入理解和应用深度学习技术。该课程分为5个部分，涵盖了深度学习...
DeepLearning(深度学习)学习笔记整理(网上资料汇总).pdf
最新发布
07-19
本篇深度学习学习笔记整理汇聚了大量网上优质资料，涵盖了从基础理论到前沿技术的全面知识体系，为深度学习的学习者提供了一站式的知识平台。 首先，基础理论方面，深度学习笔记从神经网络的基本单元——人工神经元...
李沐动手学深度学习-学习笔记
03-15
李沐动手学深度学习-学习笔记 深度学习是人工智能领域的热门研究方向，近年...对于希望进入深度学习领域或已经在该领域深耕的学习者来说，这份笔记是一份宝贵的资源，能够帮助他们构建扎实的知识体系，提升实践能力。
李宏毅老师2021深度学习课程笔记.pdf
10-08
综上所述，李宏毅老师的2021春季深度学习课程笔记，不仅为学习者提供了深度学习模型泛化、训练、优化等关键知识点的学习资料，而且为从业者提供了在实际问题中应用这些知识的思路和方法。通过对这些课程内容的学习，...
常见报错：RuntimeError: expected scalar type Long but found Float
热门推荐
rambo_csdn_123的博客
07-25 5万+
RuntimeError: expected scalar type Long but found Float 这是一个非常常见的报错，我已经遇到过这个报错很多次了，但是之前没有仔细研究过，今天好好好看了看，终于找到了原因。首先把导致报错的代码写出啦： import torch import torch.nn as nn v = torch.tensor([0]) m = nn.Linear(1, 10) m(v) 短短的几行代码，就是初始化了一个值为0的v和一个网络m，爆出了一大堆错： Traceba
PyTorch的Variable已经不需要用了！！！
rambo_csdn_123的博客
07-24 7184
Pytorch的torch.autograd.Variable 今天在看《莫凡Python》的PyTorch教程的时候发现他的代码还在使用Variable，并且我记得过去读一些GitHub上面的代码的时候也发现了Variable这个东西，根据教程中所说的，想要计算tensor的梯度等等，就必须将tensor放入Variable中并指定required_grad的值为True,通过这个Variable的容器才能进行梯度求导等等操作，代码如下： import torch from torch.autograd
PyTorch 分类任务的softmax以及CrossEntropyLoss
rambo_csdn_123的博客
07-30 2800
多分类任务不需要在输出层使用softmax函数 今天在看nn.CrossEntropyLoss()的文档的时候看到两句话： 1.The input is expected to contain raw, unnormalized scores for each class. input 的维度要求是 [batch, C]，其中C是分类的总数 2.target 的维度直接是 batch就行了，而不需要进行 one-hot 猛然醒悟，原来CorssEntropyLoss()函数里面会自动调用softmax函数
PyTorch的torch.nn.Linear()的计算方法
rambo_csdn_123的博客
07-25 2620
import torch import torch.nn as nn layer = nn.Linear(10, 3) vector = torch.ones(10) 我们定义了一个从10到3的全连接层layer，并且创建了一个全1的特征向量vector 按照我们的理解，将vector放入layer也就是进行一个矩阵运算，vector是一个 1乘10 矩阵，那么layer肯定是一个 10乘3 矩阵，这样才能使得输出向量的维度是3 weight = layer.weight.data bias = laye
关于PyTorch中向量的维度
rambo_csdn_123的博客
07-26 982
import torch x = torch.tensor([1, 2, 3, 4], dtype=torch.float) x.shape Out[14]: torch.Size([4]) y = x.T y.shape Out[16]: torch.Size([4]) 代码如上，x就是一个普通的tensor向量，但是x的shape和x转置的shape居然是一样的 这样让我分不清x到底是行向量还是列向量了，下面的代码会报错也是因为维度： net = torch.nn.Linear(1, 10) net(
吴恩达深度学习课程学习笔记：全面掌握AI核心知识
吴恩达教授的课程常常被作为初学者进入深度学习领域的入门途径之一，他开设的深度学习课程通常涵盖基础的理论知识、核心算法和实际应用案例，帮助学习者构建坚实的深度学习基础。 【标题】中提到的“吴恩达深度学习...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值