本文介绍了神经网络中的关键概念，包括双层网络的向量化表示、不同激活函数的应用（sigmoid、tanh和ReLU），以及梯度下降法在优化过程中的作用。特别强调了权重初始化的重要性，指出不能将参数设为0以避免隐藏单元的对称性问题，通常采用小规模随机初始化策略。
一 神经网络的表示
上述为双层神经网络
第零层 输入特征值
第一层 隐含层
第二层 输出层
计算m个样本的公式，由于出现显式for循环 需要将其进行向量化。
二 激活函数
在面对二分类问题时候 sigmoid函数作为输出层函数表现很优越，其他情况tanh函数的表现更好,ReLU在计算梯度时表现更好，优于tanh。
非线性激活函数能够近似的逼近任何函数，神经网络真正的发挥作用。
三 梯度下降法实现
四 随机初始化权重
参数w不能初始化为0，否则隐藏单元进行同样的计算，存在对称性。隐藏单元失去意义。
W[1]=np.random.randn((2,2))*0.01 权重初始化一般很小。
b[1]=np.zero((2,1))
扫一扫
1847
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
