机器学习，神经网络算法笔记（草履虫都能看懂），简单的一批

机器学习笔记系列

可以从上至下按顺序看喔

• 回归笔记：机器学习-回归算法笔记
• 分类笔记：机器学习-分类算法笔记

有监督学习

含义

• 给算法一个数据集，其中包含了正确的答案，告诉算法啥是对的啥是错的

• 我们想要在监督学习中，对于数据集中的每个样本，我们想要算法预测，并得出正确答案

神经网络

人工神经元

• 
• 上图中的x0是“偏置单元”， 上图名称为“带有sigmoid激活函数的人工神经元”，且为单个神经元
• 激活函数：像sigmoid函数等一些非线性函数的别称
• x为我们的输入单元，theta为我们的参数（权重）

神经网络

• 神经网络是由多个神经元所构成的，如下图所示

• 

• 其中的层一为输入层，层二为隐藏层，层三为输出层

• 为什么叫隐藏层？

  • 因为该层的值在训练集里是看不到，所以叫隐藏层
  • 一个神经网络可拥有多个隐藏层，实际上除了输入层与输出层以外的都叫隐藏层

• 既然隐藏层的值在训练集看不到，可以通过以下计算出隐藏层的值

  • $a_1^{(2)}=g({\Theta }_{10}^{(1)}{x}_0+{\Theta }_{11}^{(1)}{x}_1+{\Theta }_{12}^{(1)}{x}_2+{\Theta }_{13}^{(1)}{x}_3)$
  • $a_2^{(2)}=g({\Theta }_{20}^{(1)}{x}_0+{\Theta }_{21}^{(1)}{x}_1+{\Theta }_{22}^{(1)}{x}_2+{\Theta }_{23}^{(1)}{x}_3)$
  • $a_3^{(2)}=g({\Theta }_{30}^{(1)}{x}_0+{\Theta }_{31}^{(1)}{x}_1+{\Theta }_{32}^{(1)}{x}_2+{\Theta }_{33}^{(1)}{x}_3)$
  • $h_{\Theta }(x)=a_1^{(3)}=g({\Theta }_{10}^{(2)}{a}_0^{(2)}+{\Theta }_{11}^{(2)}{a}_1^{(2)}+{\Theta }_{12}^{(2)}{a}_2^{(2)}+{\Theta }_{13}^{(2)}{a}_3^{(2)})$
  • 可以看出以上计算可以统一归一到一个矩阵的计算，我们可以将其向量化一下
    • ${\Theta }^{(1)}=[\begin{array}{cccc}{\Theta }_{10}^{(1)}& {\Theta }_{11}^{(1)}& {\Theta }_{12}^{(1)}& {\Theta }^{}\\ {\Theta }_{20}^{(1)}& {\Theta }_{21}^{(1)}& {\Theta }_{22}^{(1)}& \\ {\Theta }_{30}^{(1)}& {\Theta }_{31}^{(1)}& {\Theta }_{32}^{(1)}& \end{array}$