weixin_49565223的博客

1. 为什么要激活函数原理上来说，神经网络模型的训练过程其实就是拟合一个数据分布（x）可以映射到输出（y）的数学函数，即 y= f(x)。拟合效果的好坏取决于数据质量及模型的结构，像逻辑回归、感知机等线性模型的拟合能力是有限的1，连xor函数都拟合不了，那神经网络模型结构中提升拟合能力的关键是什么呢？** 变化的非线性**激活函数相较于跃迁函数，其平滑性不同,激活函数是一条平滑的曲线。输出随着输入发生连续性变化。其平滑性的特性对神经网络的学习有重要的意义由于Sigmoid函数的输出不是零中心的（

pytorch __init__ 参数对比