32、机器学习、神经网络与深度学习入门

机器学习、神经网络与深度学习入门

1. 线性回归与逻辑回归

在机器学习中，线性回归是一种常见的模型。同时，还有另一种二元分类方法——逻辑回归。研究发现，在某些示例中，逻辑回归可能比线性回归更适用，也可能并非如此。这取决于数据的特性和问题的性质。

2. 神经网络概念

神经网络通常包含输入层、隐藏层和输出层。以一个具有3个输入节点、4个隐藏节点和2个输出节点的神经网络为例，输入层的节点将值传递给隐藏层，经过处理后在输出层得到结果。处理方向是从左到右，也被称为“前向方向”。

节点也被称为神经元，这种网络因为与大脑的工作方式相似，所以被称为人工神经网络（ANN）。利用这样的网络可以进行机器学习。

关于神经网络，有几个重要问题需要探讨：
- 能否有更多输入？答案是肯定的。
- 能否有更多隐藏节点？答案是可以。
- 能否有更多输出？答案是能够实现。
- 隐藏层节点内部发生了什么？
- 能否有更多隐藏层？

下面以隐藏节点h1为例，阐述其内部的计算过程。与线性回归类似，计算 $w_{1,1} x_1 + w_{2,1} x_2 + w_{3,1} x_3 + b_1$，这里将其结果记为 $z_1$。接下来，需要将计算结果传递到输出层的 $y_1$ 和 $y_2$，这就涉及到激活函数。

3. 激活函数

在隐藏节点h1内部，计算出 $z_1$ 后，会应用一个激活函数af。即 $af (z_1) = af (w_{1,1} x_1 + w_{2,1} x_2 + w_{3,1} x_3 + b_1)$，然后将激活函数的结果传递给 $y_1$ 和