本文探讨了逻辑回归作为神经网络的一种特例，并详细解释了如何通过增加隐藏层将其转化为浅层神经网络模型。文章重点讲解了前向传播与反向传播过程，以及如何通过选择不同的激活函数如tanh或ReLU来提升模型训练效果。
DL总结(一)—logistic regression as a neural network
如图所示，图的上面部分其实是一个逻辑回归模型搭建的神经网络，而下面部分在其基础上增加了一个隐藏层，而对于隐藏层的每一个隐藏单位实际上都是一个计算激活函数的过程，相当于在输入层到隐藏层的映射中计算了三次单个神经元模型，在隐藏层到输出层的映射中又经过了一个逻辑回归模型。
如图：
浅层的神经网络模型与逻辑回归的神经网络搭建基本类似，不过要注意参数W以及b的向量化的维度，而且为提高神经网络的训练精度，还可以选用其他的激活函数，例如tanh函数（
e
z
−
e
−
z
e
z
+
e
−
z
\frac{e^{z}-e^{-z}}{e^z+e^{-z}}
ez+e−zez−e−z）或者RcLU函数，其图像如图：
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
