11、突触调节学习：从局部规则到智能涌现

突触调节学习：从局部规则到智能涌现

在人工智能和神经科学的交叉领域，通过突触调节实现学习是一个核心研究方向。这一过程涉及多种学习规则和神经网络模型，它们从简单的局部规则出发，逐渐涌现出复杂的全局模式和智能行为。

1. 监督学习：反向传播算法

监督学习在现实生活中相对少见，但在机器学习领域却备受关注。它通常涉及分类任务，系统通过大量的特征 - 类别关联示例构建从特征向量到预测类别的通用映射。

1.1 反向传播算法原理

反向传播算法是监督学习中最经典和广泛应用的方法之一。其基本思想是逐步调整人工神经网络（ANN）的权重，以减少一系列训练案例中实际输出与期望输出之间的误差。每个训练案例通常是一个对((d_i, r_i))，表示某个未知函数在定义域和值域之间的映射元素。

训练过程中，训练案例逐个呈现给 ANN。每个案例的定义域值(d_i)被编码为输入层神经元的激活值，这些值通过网络传播到输出层，输出层的值再解码为值域值(r^*)，与期望的值域值(r_i)进行比较，差值即为误差项。

为了减少输出误差，需要计算误差相对于每个权重的导数(\frac{\partial E}{\partial w_{ij}})，然后根据以下公式更新权重：
(\Delta w_{ij} = -\eta \frac{\partial E_i}{\partial w_{ij}})
其中，(\eta)是学习率，通常是一个小于 1 的正数。

1.2 反向传播算法的优缺点

反向传播算法虽然在许多成功的 ANN 应用中占据了很大比例，但它也存在一些缺点。例如，它容易陷入局部误差极小值，并且通常需要对整