【DL基石】优化算法

最新推荐文章于 2025-08-17 13:10:12 发布
原创 最新推荐文章于 2025-08-17 13:10:12 发布 · 578 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #神经网络 #优化算法 #人工智能

本文深入探讨深度学习中的各种优化方法，包括SGD、Momentum、Nesterov、AdaGrad、RMSProp和Adam等，解析每种方法的工作原理及其在训练神经网络中的应用，帮助读者理解如何有效提升模型训练效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

从代码学习数值优化算法 - 拉格朗日对偶方法 Python 版
weixin_43887510的博客
03-30 725
优化问题是数学、计算机科学和工程领域的基石。无论是设计高效的通信网络、训练机器学习模型，还是解决资源分配问题，我们常常需要在一个目标函数上寻找最优解，同时满足一系列约束条件。这些问题看似复杂，但通过适当的数学工具，可以转化为更易于求解的形式。拉格朗日对偶方法（Lagrangian Dual Method）正是这样一种经典而强大的工具，它通过将受约束的优化问题转化为无约束的对偶问题，为我们提供了一个全新的视角。拉格朗日对偶方法的魅力在于它的普适性和理论深度。在凸优化问题中，它不仅能简化计算，还能揭示目标函数与
DL基石-神经网络的批标准化
深度学习与计算机视觉
06-20 325
训练学习系统的一个主要假设是在整个训练过程中输入分布是保持不变的。对于简单地将输入数据映射到某些适当输出的线性模型，这种条件总是能满足的，但在处理由多层叠加而成的神经网络时，情况就不一样...
深度学习（DL）算法分分类
m0_46171719的博客
08-28 988
深度学习（DL）算法是机器学习的一个子集，专注于使用深度神经网络（DNN）来模拟人脑的学习过程，从而解决复杂的数据处理和模式识别问题。
DL基石-神经网络简易教程
深度学习与计算机视觉
06-17 389
在这篇文章中，我们将去学习神经网络的基础知识。本篇文章的学习需要对机器学习有着基本理解，如果你学习过一些机器学习算法，那就更好了。首先简单介绍一下人工神经网络，也叫ANN。很多机器学习算...
图解多种排序算法的选择策略
2501_90435375的博客
02-15 586
排序算法是计算机科学中的基石，广泛应用于数据处理、搜索优化和日常业务逻辑中。冒泡排序以其简单性适用于教学和小数据集；选择排序则因其稳定性而受到青睐；插入排序效率高于几乎有序的数据。希尔排序通过优化插入排序提升性能，适用于中等规模数据集。归并排序以其稳定的时间复杂度和稳定性，成为合并操作的首选。快速排序以其分治策略和高效性成为处理大数据集的优选。堆排序则因其原地排序特性而广泛应用于资源受限环境。计数排序和基数排序专为特定数据范围设计，提供线性时间复杂度的解决方案。桶排序则适用于处理均匀分布的大数据集。这些算法
【图像处理基石】如何构建一个简单好用的美颜算法？
智能守恒_HengAI
06-07 1101
美颜算法是一种基于图像处理技术的算法，主要用于改善人像照片或视频中的人物外观，使其看起来更符合审美标准（如皮肤光滑、五官精致、肤色均匀等）。它广泛应用于手机相机、直播软件、图片编辑工具等场景，是计算机视觉和数字图像处理领域的常见应用之一。磨皮（Skin Smoothing）美白/美黑（Skin Whitening/Darkening）五官优化（Facial Features Enhancement）去皱/瘦脸（Wrinkle Reduction）妆容增强（Virtual Makeup）高斯模糊与双边滤波肤色
算法工程师终极技能图谱：从数学基础到机器学习、运筹优化、大数据处理、AI前沿技术等全景解析
2401_84204207的博客
04-03 1160
算法工程师是一个知识密集、实践驱动、快速发展的复合型岗位。这份增强版的技能图谱展示了其所需的深度和广度，从坚实的数理与计算机基础，到精通编程与工程实践，再到深入掌握AI、ML、OR等核心领域知识，结合大数据处理、MLOps能力以及重要的软技能。
机器学习的分类与主要算法
qq_30868737的博客
09-21 4390
机器学习无疑是当前数据分析领域的一个热点内容。很多人在平时的工作中都或多或少会用到机器学习的算法。从范围上来说，机器学习跟模式识别，统计学习，数据挖掘是类似的，同时，机器学习与其他领域的处理技术的结合，形成了计算机视觉、语音识别、自然语言处理等交叉学科。因此，一般说数据挖掘时，可以等同于说机器学习。同时，我们平常所说的机器学习应用，应该是通用的，不仅仅局限在结构化数据，还有图像，音频等应用。 机器学习里最重要的四类问题 预测：回归模型 聚类：K-means 分类：支持向量机 降为：主成分分析 机器学习的算法
AI算法05-前馈神经网络Feedforward Neural Network | FNN
yangguangjiujiu99的专栏
07-04 3407
前馈神经网络（Feedforward Neural Network, FNN）是神经网络中最基本和经典的一种结构，它在许多实际应用场景中有着广泛的使用。在本节中，我们将深入探讨FNN的基本概念、工作原理、应用场景以及优缺点。前馈神经网络是一种人工神经网络，其结构由多个层次的节点组成，并按特定的方向传递信息。与之相对的是递归神经网络，其中信息可以在不同层之间双向传递。结构特点： 由输入层、一个或多个隐藏层和输出层组成。信息流动： 信息仅在一个方向上流动，从输入层通过隐藏层最终到达输出层，没有反馈循环。
卷积神经网络（CNN）学习笔记
彩云回的博客
08-15 587
CNN是一种用于图像处理的深度学习模型，其核心在于自动特征提取。它通过卷积层捕捉局部特征，池化层降维并增强鲁棒性，全连接层进行最终决策。CNN的优势包括权值共享减少参数量、局部连接模拟视觉机制，以及层级特征学习能力。经典模型如LeNet、AlexNet、ResNet等不断优化网络结构。虽然面临过拟合、计算量大等挑战，但通过数据增强、迁移学习等方法可有效解决。CNN广泛应用于图像分类、目标检测、医学影像分析等领域，展现出强大的特征学习和模式识别能力。
WITRAN:基于改进的RNN时间序列预测模型
hasakie的博客
08-15 1001
本文提出WITRAN模型，用于高效解决长期时间序列预测中的多尺度语义捕捉难题。针对现有RNN、CNN和Transformer类方法在全局/局部相关性与周期模式捕捉上的不足，创新性地结合水波信息传输框架（WIT）和循环加速网络（RAN）。WIT通过2D重组和双向门控传播分别捕获长短期模式，RAN采用并行切片计算将复杂度降至O(√L)。在能源、交通等领域实验中，模型在长期/超长期预测任务上MSE平均提升5.8%-14.3%，效率提升3倍以上，并展现出强鲁棒性。消融实验验证了双向门控和状态融合机制的有效性，未来将
2025-08-17 李沐深度学习16——目标检测
最新发布
zheliku的博客
08-17 315
目标检测是计算机视觉的核心任务，旨在识别图片中多个感兴趣物体并确定其位置（通过边界框表示）。相比图像分类，目标检测需处理多物体识别和定位问题，应用场景广泛，如自动驾驶、安防监控和工业质检。 关键方法包括**锚框（Anchor Box）**技术，通过预定义候选框并预测其偏移量来简化边界框回归。**交并比（IOU）用于评估锚框与真实框的重叠程度，而非极大值抑制（NMS）**则用于去除冗余预测框。COCO是目标检测领域的重要数据集，包含80类物体和超150万标注实例。 目标检测标注成本高、计算复杂，但基于锚框的算
15.卷积神经网络
天上的光博客
08-13 403
卷积神经网络（Convolutional Neural Network），多用于图像处理。
深度学习——03 神经网络（3）-网络优化方法
念头通达
08-13 1107
梯度下降算法回顾、训练流程的几个概念（Epoch轮次、Batch Size批次大小、Iteration迭代）、梯度下降的 3 种实现方式、前向传播（计算预测值与损失）与反向传播（计算梯度并更新权重）、梯度下降的优化方法（指数加权平均、动量优化算法Momentum、AdaGrad算法、RMSProp算法、Adam算法）、学习率衰减算法（等间隔学习率衰减、指定间隔学习率衰减、按指数学习率衰减）
融合深度学习与订单簿分析提升短期价格趋势预测精度
木头大左的博客
08-14 664
在金融领域的短期价格趋势预测中，深度学习和订单簿分析各自发挥着重要作用。深度学习作为机器学习的一个重要分支，凭借其强大的特征提取和复杂模式识别能力，为处理金融市场的海量数据提供了有力工具。而订单簿分析则聚焦于市场微观结构，通过解读订单簿中的买卖订单信息，揭示市场参与者的行为和意图，为价格趋势预测提供独特的视角。
2021 IEEE【论文精读】用GAN让音频隐写术骗过AI检测器 - 对抗深度学习的音频信息隐藏
AI+跨行业应用探索实践者
08-15 873
本文详解2021年IEEE论文《Learning to Generate Steganographic Cover for Audio Steganography Using GAN》的核心创新点。该方法通过生成对抗网络自动学习生成优质隐写载体音频，采用生成器、判别器和隐写分析器三方对抗训练，实现了对深度学习检测器的主动防御。实验表明，在各种嵌入率下检测准确率接近50%随机猜测水平，PESQ评分达4.42，成功实现了高感知质量与强抗检测性的双重目标。
day39_2025-08-13
m0_62080681的博客
08-13 790
测试函数和绘图函数均被封装在了train函数中，但是test和绘图函数在定义train函数之后，这是因为在 Python 中，函数定义的顺序不影响调用，只要在调用前已经完成定义即可。作业：仔细学习下测试和训练代码的逻辑，这是基础，这个代码框架后续会一直沿用，后续的重点慢慢就是转向模型定义阶段了。动态维度指定：使用-1让PyTorch自动计算该维度的大小，但需确保其他维度的指定合理，避免形状不匹配错误。结果：展平为两个维度，保留batch_size，第二个维度自动计算为3×28×28=2352。
【深度学习】基于ESRNet模型的图像超分辨率训练
微瑟秋风的博客
08-16 626
基于ESRNet模型（ESRGAN简化版本）的图像超分辨率训练，可作为【机器学习】领域的学习样本，通过本项目，您可以了解机器学习的具体流程和关键概念。
给AI装上“稳压器”：批归一化如何加速深度学习
nblway的博客
08-16 308
想象一条汽车装配线：零件尺寸忽大忽小，工人被迫不停调整工具——这种生产标准不统一的混乱，正是深度学习中“内部协变量偏移”的灾难。今天，让我们一起探索这篇引用超10万次的论文，如何解决了深度学习的“慢性病”。今天，当你秒开手机人脸解锁、当工厂每秒检测十件产品——请不要忘记，背后是无数神经网络层在批归一化的“稳压”下高效协作。· 批归一化+网络：成功训练100层网络（如ResNet），错误率下降40%。效果：将本批数据强行拉回“标准身材”（均值0，方差1）。
深度学习算法：构建复杂AI任务的基石
深度信念网络和多层自编码器的贪婪式逐层训练策略也是重点讨论内容，这些技术为优化深度网络提供了有效的途径。后续章节还涵盖了对RBM和自编码器的扩展，如稀疏性引入和时间依赖性的建模。最后，变分边界方法应用于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值