深度学习从入门到不想放弃-7

最新推荐文章于 2025-12-25 16:43:46 发布
原创 最新推荐文章于 2025-12-25 16:43:46 发布 · 3k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

本文介绍了深度学习中的基础概念——前向计算和反向传播。前向计算是沿着神经网络计算输出的过程，而反向传播利用链式法则计算损失函数对参数的偏导数，用于更新权重。文章还提及了梯度下降法、学习率以及优化器的作用，强调了这两个过程在神经网络训练中的核心地位。

上一章的内容 深度学习从入门到不想放弃-6 (qq.com)

     今天讲的也算基础（这个系列后来我一寻思，全是基础

图片

），但是可能要着重说下，今天讲前向计算和反向传播，在哪儿它都永远是核心，不管面对什么模型

       前向计算：

      有的叫也叫正向传播，正向计算的，有的直接把前向的方法梯度下降当成前向计算的名字。熟悉我的读者也了解，我一般不太care概念叫什么名，不重要，大家自己喜欢叫什么都行，只要理解是干啥的就行

       我们先看一张老图（我用了10多遍了），神经网络说白了，就是矩阵的乘法和加法，矩阵运算起来容易些

最低0.47元/天 解锁文章
周博洋K
关注
深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 37万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
深度学习-pytorch的入门
Panda_633的博客
05-28 1766
深度学习简单入门
深度学习从入门到不想放弃-6
周博洋的博客
01-18 1956
similar就是我们要的产品设计的相似度，d就是距离，所以我们通过分数的形式，完美诠释了反比，同时统一的相关性，因为d越大，similar就越小，d越小，similar就越大。我们先不看公式，看上图就行，就是比角，两个向量x，y夹角越大，就越不相似，夹角180度，就彻底分道扬镳了，夹角0度，可以认为两个向量就是一样的了, 夹角90度的时候两个向量叫正交。，大概意思能理解吧，就是在相似度比较的时候，d如果过大，那么s基本就平着走了，一些无关紧要的特别大的距离，就不用考虑了，因为没变化，所以说可以规避噪音。
深度学习从入门到不想放弃-2
周博洋的博客
12-04 981
Tensor相当于torch.empty 和torch.tensor的混合模式，而且它是有一个全局默认的数据类型的，FloatTensor就是浮点数，可以参考上图，在打印torch.Tensor创建的张量的时候，元素后面都会有一个".", 这个"."就是浮点数的意思, 而使用torch.tensor创建的张量，是可以通过dtype来指定元素的数据类型，同时它也会自动根据输入的元素来匹配数据类型。什么是Tensor?答案是可以的，如上图所示，4阶Tensor，在每个维度上就有一个元素。
深度学习从入门到不想放弃-1
周博洋的博客
12-03 1069
上图最上面描述是机器学习的流程，如果让一个计算机理解输入的信息是一个汽车，那么需要人类做很多特征工程工作，就是提取出这个事物的一些特征信息然后交给机器去认知去处理，上图的下部分就是深度学习的领域，在深度学习领域最重要的就是它可以自动的提取数据的特征，进行处理。我们学过的初高中生物应该讲过，其实是神经元在传递彼此之间的电信号，神经元对经历的事件和刺激进行反应，每个神经元连接着若干个其他的神经元，各自有各自的电信号的阈值，当刺激超过阈值电信号就会在不同的神经元之间传递，进而在不同的神经元之间传递信息。
深度学习从入门到不想放弃-4
周博洋的博客
12-13 1282
因为我们做深度学习不太可能就一个自变量，所以要求偏导数，偏导数就是多个自变量，比如 Z=f(x，y), 而自变量y固定 这时它就是x的一元函数，这函数对x的导数，就称为二元函数Z对x的偏导数。比如下图，不管你是什么图形，比如这个向上的曲线就是y=x^2的一部分，我可以把它和x轴围成的线用若干个矩形表示，矩形越小，然后把许多个矩形加起来，就越和真实的面积拟合。也叫微积分基本定理。相反的如果你固定了x，那就是对y求偏导数了，以上讲的都是一阶偏导数，实际的计算中，一阶二阶都有，这里就不展开了，就知道概念就行。
深度学习从入门到不想放弃-5
周博洋的博客
12-31 1309
这个看起来似乎是合理，但是在实际场景中这么做，你的"搜广推"系统基本就废了，因为在消费场景里，年龄其实不能作为直接的特征来进行判断，就好比 一个32岁的男性，他不能等于(20岁男性+42岁男性)/2的消费能力。再比如，如果拿电商用户的年龄做特征，是否合理呢，可以根据不同的年龄来当成一个特征，用这个特征训练模型，在推理阶段，会给相应年龄的客户，推送符合年龄的商品。天然图片的长和宽就形成了400*400的一个矩阵，然后每个像素点描述一个RGB的三个颜色的强度，这就是一个天然的Tensor了。
强化学习入门到不想放弃-5
周博洋的博客
10-26 969
也就是折扣系数，这个理解起来也不难，比如你做了一个动作不光对当前的state s有影响，也会对之后的state都会有影响，引申的含义就是当前的状态也会影响到之后状态所获得的奖励，但是当下的奖励的重要性一定会大于未来的奖励，γ的取值范围也是0到1（不能是1）， 比如0.4,0.6，理论上越近折扣系数应该越高，这个也好理解，列成式子就是。圆形的有的有一个后续，有的有多个候选选择（概率），不同的action，有不同的奖励得分，比如刷facebook就扣1分-1，比如学习就加10分之类的。
深度学习从入门到入土，基础知识篇四
six_sixsix666的博客
09-12 654
在深度学习网络中，卷积层用来提取数据的特征，通过不断地卷积，从而得到想要的特征，而卷积层的主要操作就是卷积，卷积的过程，通俗的讲就是一个加权求和的过程。在深度学习网络中，卷积操作也可以理解为一种特殊的线性变换，卷积的实现必不可少的就是卷积核，卷积核也称为滤波器，在输入的数据上进行滑动窗口式的卷积，从而实现局部数据特征的提取，实现特征的共享和抽象，从而使得网络对输入数据的变化更加鲁棒和准确。注意，在深度学习中，卷积核是可学习的，经过一定次数的迭代之后，才能更好的提取到稳定且需要的特征。
深度学习从入门到不想放弃-3
周博洋的博客
12-10 1088
第二，好饭不怕晚，而且我尽量写的细点，要不后面的东西实话说，真的很抽象，比如算Transformer 进来个embbeding的sequence，加上自注意力后，生成的多头QKV，是怎么转置相乘的(要是今天这个章节没看懂，那这块就是读不下去了)，乘出来的东西又怎么进残差，怎么做Layer Normal，为什么要再进2层FFN，又为什么只有第一层有激活，第二层不激。这里其实不可避免的引入了另一个概念，Tensor的连续性（contiguous），那么什么是Tensor的连续性，我们用下图说明。
003 卷积神经网络（CNN）-- 原理到实践
最新发布
yy_xzz的博客
12-25 568
卷积操作：局部连接，权重共享池化操作：降维，增加平移不变性经典架构现代技巧：批归一化，Dropout，残差连接实践应用：图像分类，特征可视化# 尝试设计一个用于MNIST的CNN# 你的设计pass# 前向传播pass。
基于PyTorch的深度学习——迁移学习4
Wis4e的博客
12-20 282
常用的方法是固定底层的参数，调整一些顶层或具体层的参数。这样做的好处是可以减少训练参数的数量，同时也有助于克服过拟合现象的发生。此外预先训练的网络参数也会被更新，但会使用较小的学习率以防止预先训练好的参数发生较大的改变。
入门篇--人工智能发展史-4-点燃深度学习革命的那把火，AlexNet
weisian的博客
12-20 1222
摘要： AlexNet（2012）是深度学习革命的里程碑模型，以15.3%的错误率横扫ImageNet竞赛，比传统方法提升10个百分点。其成功源于三大突破：1）ReLU激活函数解决深层网络梯度消失问题；2）GPU并行训练将训练时间从数周缩短至5-6天；3）Dropout正则化防止过拟合。该模型奠定了现代CNN的“卷积+池化+全连接”范式，推动GPU成为AI基础设施，并验证了“数据+算力+算法”的铁三角逻辑。AlexNet直接引爆了全球深度学习热潮，其设计思想至今仍是计算机视觉的基石。
高级LSTM架构在量化交易中的特殊入参要求与实现
木头大左的博客
12-25 513
本代码实现了基于长短期记忆网络（LSTM）的量化交易策略，通过处理时间序列金融数据预测未来价格走势。主要风险包括过拟合问题、非平稳时间序列导致的梯度消失、以及市场黑天鹅事件引发的异常波动。对于高频交易场景，采用5-30分钟级别的K线数据时，建议设置timesteps=64-128；该实现方案已在CME集团黄金期货(GC)合约上完成实证测试，2018-2023年期间实现年化收益18.7%，夏普比率1.93，最大回撤9.2%。需要注意的是，实际应用中应根据具体交易品种调整参数范围，并建立严格的风控体系。
基于PyTorch的深度学习——迁移学习2
Wis4e的博客
12-20 154
接下来，下载预训练模型，冻结模型参数使得反向传播时不更新，修改最后一层输出类别（512x1000改成512x10）现在将迁移学习的特征提取应用于CIFAR-10。
【深度学习】 循环神经网络
PANSS__的博客
12-22 805
RNN。
即插即用系列 | 2025 RestorMixer：融合 CNN、Mamba 与 Transformer 的高效图像复原的集大成者！
分享顶会顶刊论文即插即用模块
12-20 652
本文提出了一种高效混合异构图像复原模型RestorMixer，通过结合CNN、Mamba和Transformer的优势，实现了性能与效率的平衡。RestorMixer采用三阶异构架构：在高分辨率阶段使用CNN提取局部特征，在低分辨率阶段交替使用增强记忆视觉Mamba（EMVM）进行全局建模和多尺度窗口自注意力（MWSA）优化局部细节。EMVM通过下采样和四向扫描机制降低计算量并增强长程记忆，MWSA则利用动态窗口注意力精修特征。实验表明，该模型在去雨、超分等任务上达到SOTA性能（如Rain100H上33.
Lora模型微调
糖葫芦君的博客
12-21 1031
大量实证研究表明：大模型在微调过程中，权重增量矩阵 ΔW 具有显著的低内在秩（low intrinsic rank）。这意味着，尽管 ΔW 是一个高维矩阵（例如 4096×4096），其有效信息却集中在少数几个主成分上。在 LoRA 中，矩阵 W 是模型的权重矩阵。而在传统的微调中，W 会直接进行调整，但在 LoRA 中，核心思想是将原始的权重矩阵 W 被分解为两个较小的低秩矩阵：A 和 B。这两个矩阵的乘积（A * B）就是对权重矩阵的调整部分：ΔW = A × B。
深度学习驱动的蛋白质设计新范式：解析RFdiffusion3与Foundry生态系统
ASKCOS博客
12-24 647
蛋白质设计是计算生物学与生物工程领域的前沿方向，其目标是创造具有特定结构和功能的新型蛋白质分子，在药物研发、工业酶工程、基因治疗等领域具有革命性应用潜力。传统蛋白质设计方法依赖于分子动力学模拟和基于物理的能量函数优化，面临计算成本高昂、设计成功率低等挑战。近年来，以扩散模型为代表的深度学习技术为蛋白质设计带来了突破性进展，其中RFdiffusion3（RFD3）作为最新一代扩散模型，实现了全原子水平的生物分子相互作用从头设计。
机械学习怎么从入门到放弃
06-13
以下是一个从入门到放弃的建议： 1. 入门：可以从学习基础的数学知识开始，比如线性代数、概率论和统计学等，这些知识是机器学习的基础。同时，也需要掌握一种编程语言，比如Python等，以便能够实现机器学习算法。 ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值