动手学深度学习笔记--4.1 多层感知机

最新推荐文章于 2025-11-30 17:53:43 发布

原创

最新推荐文章于 2025-11-30 17:53:43 发布 · 449 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #机器学习 #人工智能

文章介绍了感知机模型，作为二分类的线性模型，其输出通过Sign函数处理。感知机通过迭代策略不断优化权重和偏差，直至正确分类所有样本。当遇到非线性问题如XOR时，单层感知机无法解决，于是引出多层感知机，通过隐藏层和非线性激活函数（如Sigmoid和ReLU）来处理非线性问题。文章还讨论了不同激活函数的性质，以及学习率对模型训练的影响。最后，提到了超参数num_hiddens对模型性能的影响，以及隐藏层数量和学习率的选择策略。

一、感知机

与输出实数的线性回归模型以及输出分布概率的Softmax多分类模型不同，感知机（神经元）模型使用Sign函数进行输出处理，输出结果是离散变量，本质属于二分类模型。

对于给定的一组输入特征向量 $x_{i \in T}$ ，权重 $w$ 以及偏差 $b$ ,感知机的输出如下：

$O=\sigma(\langle w,x_i \rangle + b) \qquad \qquad \sigma(x)= \begin{cases} 1 \quad if \ x_i>0 \\ -1 \quad otherwise \end{cases}$

感知机的迭代策略

Initialize $w = 0$ and $b = 0$
repeat
if $y_i[\langle w,x_i\rangle + b] \leq 0$ then
$\leftarrow w+y_ix_i$ and $\leftarrow b+y_i$
end if
until all classified correctly

实际上，感知机算法可以理解为一个采用随机梯度下降法的误分类驱动算法，即根据错误分类样本去优化模型，算法尝试在每轮训练迭代中着重于对过去的错误分类结果进行修正，使得下一次预测结果更接近于真实情况。

在上述感知机迭代策略中， $x_i$ 为样本 $i$ 的特征向量， $y_i$ 为样本 $i$ 的标签（-1或1）， $\langle w,x_i \rangle + b$ 为对应预测结果。当标签与预测值同号时，例如 $y_i > 0$ 且 $\langle w,x_i \rangle + b >0$