- 博客(5)
- 收藏
- 关注
RSS订阅原创 深度学习中指数加权平均思想
指数加权平均（EWMA）是一种动态加权平均方法，核心思想是对不同时间的数据赋予指数衰减的权重——新数据权重高，旧数据权重呈指数级降低。其递推公式为v_t=βv_t-1+(1-β)x_t，其中β控制记忆长度（β越大衰减越慢）。相比简单移动平均，EWMA无需固定窗口，能更快响应新数据，同时平滑噪声。该方法广泛应用于时间序列分析、机器学习优化（如Adam算法）、信号处理和实时监控等领域。关键优势在于通过β参数灵活调整"记忆长度"，平衡对新数据的敏感性和平滑效果。
2025-10-16 18:45:05
524
原创 深度学习中前向传播和反向传播的核心
摘要：计算图（Computational Graph）是神经网络前向传播和反向传播的核心载体，通过节点（运算/数据）和边（数据流向）的结构化表示实现高效计算与自动求导。前向传播沿计算图正向遍历，依次执行运算并记录中间结果；反向传播则反向遍历，利用链式法则计算梯度并更新参数。动态图（如PyTorch）边计算边建图，适合调试；静态图（如TensorFlow 1.x）先建图后计算，适合部署。计算图使框架能自动调度计算和求导，大幅降低深度学习开发复杂度。
2025-10-15 22:06:49
1621
原创 深度学习中的分母布局
摘要： 分母布局是深度学习矩阵微积分的核心计算约定，确保导数维度与分母（求导对象）对齐。核心原则是：标量对列向量求导得行向量，列向量对列向量求导得矩阵，标量对矩阵求导得同维矩阵。该布局天然支持反向传播的链式法则维度匹配（如全连接层梯度计算），主流框架通过自动转置和API封装隐性实现。掌握分母布局能避免维度错误，是推导自定义层梯度的关键。
2025-10-15 21:29:48
1489
原创 PyTorch与Numpy中数值处理函数的关系
PyTorch与NumPy在数值处理功能上高度相似但并非完全对应。PyTorch实现了NumPy绝大多数核心数值运算函数（如基础运算、统计、线性代数等），语法也基本一致。主要差异在于：PyTorch新增了自动微分、GPU加速等深度学习专属功能，而NumPy则在特殊函数、细分数据类型和文件IO方面更全面。实际选择时，深度学习任务应优先使用PyTorch，纯数值计算或数据分析场景则更适合NumPy。总体而言，PyTorch覆盖了NumPy 90%以上的常用功能，但二者定位不同，需根据具体需求选择。
2025-10-13 21:43:41
1337
原创 深度学习中连续张量和不连续张量
摘要：深度学习中的“连续张量”与“不连续张量”区别在于内存存储方式和数值分布规律。连续张量在内存中按逻辑维度紧密排列，访问高效但可能浪费内存；不连续张量则存在存储错位或数值空缺，虽节省内存但计算效率低。关键差异体现在存储、计算和内存占用三方面。实践中需平衡二者：密集计算使用连续张量，稀疏数据采用不连续张量，并通过contiguous()等方法灵活转换。理解这一概念对优化模型性能和内存效率至关重要。（150字）
2025-10-12 20:59:32
591
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人