10、简单感知机：监督学习与线性可分性解析

简单感知机：监督学习与线性可分性解析

1. 监督学习概述

在处理网络连接强度的选择问题时，先验地确定合适的连接强度并非总是可行，因为这可能涉及大规模的优化问题或矩阵求逆。迭代方法往往更为简便，即从任意起点逐步改进，使网络“学习”任务。

监督学习是一种重要的学习范式，在这种学习方式中，网络的输出会与已知的正确答案进行比较，并接收关于误差的反馈，就像是有“老师”指导一样，老师会告知网络正确答案，或者至少在强化学习中，告知其答案是否正确。与之相对的无监督学习则没有老师，也不存在绝对的对错答案，网络需要自主发现输入数据中有趣的类别或特征。

通常我们会考虑具有独立输入和输出的网络，并假设拥有一组正确的输入 - 输出对作为训练集。将训练输入应用于网络后，把网络输出与正确输出进行对比，然后调整连接强度以减小差异。这个过程通常是渐进式的，针对每个训练对进行小幅度调整，若一切顺利，连接强度最终会收敛到一个能高度准确“记住”训练集的解。之后，尝试使用训练集之外的输入模式，以检验网络是否能成功泛化所学内容。

2. 前馈网络

前馈网络是一种特定架构的网络，在这种网络中研究监督学习相对容易理解。实际上，大脑中的真实神经结构通常也是分层的，并且大多（但并非全部）是前馈的。非严格前馈、包含直接或间接连接循环的网络常被称为递归网络。

分层前馈网络最早由罗森布拉特及其同事在30年前详细研究，当时被称为感知机。它有一组输入终端，其作用仅是将输入模式传递到网络的其他部分，随后可能有一个或多个中间单元层，最后是输出层，用于读取计算结果。在这类受限的前馈网络中，不存在从一个单元连接到前一层单元、同一层其他单元或超过一层之后单元的连接，每个单元（或输入）仅向其