27、在线学习动力学：二元感知机与梯度下降学习

在线学习动力学：二元感知机与梯度下降学习

1. 二元感知机在线学习概述

在线学习在感知机领域有着丰富的研究成果。下面通过表格总结了不同学习规则下的一些关键结果，包括特定学习规则在不同学习率设置下的渐近泛化误差情况。

规则	常量学习率 η 下的渐近衰减	最优常量学习率 η 下的渐近衰减	η 用于归一化 J
Hebbian	(E \sim \frac{1}{\sqrt{2\pi}}t^{-\frac{1}{2}})（(\eta > 0)）	(E \sim \frac{1}{\sqrt{2\pi}}t^{-\frac{1}{2}})（(\eta > 0)）	N/A
感知机	(E \sim (\frac{2}{3})^{\frac{1}{3}}\pi^{-1}t^{-\frac{1}{3}})（(\eta > 0)）	(E \sim (\frac{2}{3})^{\frac{1}{3}}\pi^{-1}t^{-\frac{1}{3}})（(\eta > 0)）	(E \sim \frac{4}{\pi}t^{-1})
AdaTron	(E \si