机器学习基础：神经网络——感知机

目录

1. 表示学习

2. 生物神经元 V.S. 人造神经元

3. 感知机

3.1 训练感知机

3.2 激活函数

3.3 一层感知机

3.4 多层感知机

3.4.1 隐藏层神经元数量选择

3.4.2 隐藏层如何学习参数

3.4.3 多层感知机的性质

3.4.4 多层感知机总结

---

1. 表示学习

表示学习（representation Learning）是神经网络的一个常见应用：

表示学习的基本思路，是找到对于原始数据更好的表达，以方便后续任务（比如分类）。机器学习中，同样的数据的不同表达，会直接决定后续任务的难易程度（换言之，表示方法的选择通常依赖于后续任务的需求），因此找到好的数据表示往往是机器学习的核心任务。

例如图像相关的任务，数据的特征维度太高（通常在几十万上百万的维度，因为图像的每个像素点都是一个特征）。

深度学习中常用来对高维度数据进行处理，将其重新编码成维度较低的特征。

深度网络可以通过学习后的特征来完成各种任务。

2. 生物神经元 V.S. 人造神经元

首先梦回高中生物——神经元：

输入信号，输出信号，各方输入信号加权取平均，如果超过某一个阈值就将信号传向下一个神经元

代表各方的输入组成的输入向量，是常数偏置项，对这些量进行加权求和（参数的权重同样是一个向量）然后通过一个激活函数这也是个可选的超参数，可以为神经元选用不同的激活函数，激活后的值是一个标量继续传入下一个神经元；

这个过程中的超参数是激活函数，需要学习的参数是和

形式化的数学表示为：

3. 感知机

感知机（Perceptron）：

• 感知机本质上就是只有单个神经元的神经网络
• 一个感知机就是一个二元的线性分类器，形式化表示如下：

这里的阈值是，也就是说只要的加权和那么感知机就输出。

3.1 训练感知机

训练感知机（Training Perceptron）是试图求算最佳的参数向量最小化训练误差

常用的方法是通过迭代（Iterative）的方式对训练集上进行反复训练。具体的算法可以如下表示：