神经网络算子
关注
分享
扫一扫
文章平均质量分 97
张小殊.
主要发文方向为深度学习、并行编程、大规模并行训练、模型推理优化，欢迎大家一起互相学习、交流，谢谢！
展开
-
神经网络常用归一化和正则化方法解析（二）
神经网络中的归一化和正则化是为了提高训练稳定性、加速收敛、减少过拟合等目的而采取的一系列技术手段，本文对常见的正则化方法L1正则化、L2正则化、dropout 和 Early Stopping进行介绍。原创 2023-12-08 10:06:43 · 5946 阅读 · 4 评论 -
神经网络常用归一化和正则化方法解析（一）
神经网络中的归一化和正则化是为了提高训练稳定性、加速收敛、减少过拟合等目的而采取的一系列技术手段，本文对常见的归一化方法如，批归一化BN、层归一化LN、实例归一化IN、组归一化GN进行介绍。原创 2023-12-05 09:59:31 · 5466 阅读 · 2 评论 -
神经网络常用激活函数详解
神经网络的激活函数是在每个神经元的输出上应用的非线性函数。激活函数的引入是为了给神经网络引入非线性特性，从而增强网络的表达能力，使其能够学习和表示更为复杂的关系。这篇文章主要介绍一些常见的神经网络激活函数，包括sigmoid、tanh、ReLU、Leoky ReLU、ReLU6和Softmax。原创 2023-11-22 14:01:10 · 7841 阅读 · 4 评论