- 博客(7)
- 收藏
- 关注
RSS订阅原创 [由浅入深理解神经网络] 4 神经网络的计算负载
本文分析了神经网络在训练和推理过程中的计算负载问题。训练阶段主要关注显存占用、运算量和带宽，其中显存消耗来自中间结果、模型参数、优化器状态和临时变量；运算量主要来自前向传播、梯度计算和优化器更新。推理阶段则更关注内存占用和运算效率，可通过模型量化、多线程和专用芯片进行优化。文章还指出带宽问题常被忽视，但在多GPU训练中尤为关键，数据并行和流水线并行是两种主要方案。整体而言，训练资源需求远高于推理，而推理优化更注重部署环境的多样性。
2025-12-01 15:04:16
768
原创 [由浅入深理解神经网络] 3 梯度下降与优化器
本文系统介绍了神经网络训练中的梯度下降优化算法。首先分析了原始梯度下降的局限性：易陷入局部最优解和学习率难以调节的问题。然后详细讲解了动量梯度下降、RMSprop和Adam等改进算法，重点阐述了Adam优化器结合一阶矩和二阶矩估计的优势及其偏差修正机制。文章还讨论了mini-batch训练对优化过程的影响，指出其能缓解局部最优问题。最后对比了梯度下降类算法与其他优化方法（如遗传算法）的差异，强调梯度类算法在神经网络训练中的主导地位。全文为理解神经网络优化过程提供了系统视角。
2025-11-24 00:08:45
895
原创 [由浅入深理解神经网络] 2 张量流与反向传播
本文深入探讨了神经网络中的张量流与反向传播机制。文章首先介绍了张量(Tensor)的概念及其在神经网络中的重要性，指出神经网络本质上是一个带参数的复合张量函数。通过运算图的形式，详细阐述了神经网络的前向传播过程。 重点讨论了反向传播算法，包括链式法则在神经网络中的应用，以及如何利用反向传播高效计算损失函数对网络参数的梯度。文章通过具体例子展示了单输入单输出和多输入多输出情况下的反向传播过程，说明了梯度如何从输出端向输入端逐层传递。 最后，文章强调了反向传播算法对深度神经网络训练的关键作用，为后续优化算法调整
2025-07-02 01:09:35
1440
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人