18、线性阈值单元机器与统计视角下的线性模型

线性阈值单元机器与统计视角下的线性模型

线性阈值单元机器

在机器学习领域，线性阈值单元机器是一个重要的研究方向。然而，直径受限的感知机在捕捉真正的全局属性方面存在一定的局限性。例如，相关研究表明直径受限的感知机在处理连通性问题时得出了负面结果，这意味着它无法很好地捕捉全局属性。而且，这些关键结果的影响并不局限于单层感知机，对于多层网络同样适用。

线性可分示例的最优性

当处理线性可分的类别时，线性阈值函数和损失函数的恰当结合在计算复杂度方面能产生良好的学习公式。对于两类（$c = 2$）的情况，我们可以通过分析风险函数来探讨其特性。风险函数$E$是所有示例损失的累加，即$E = \sum_{\kappa} e_{\kappa}$，其梯度可以通过以下公式计算：
$\frac{\partial E}{\partial \hat{w} j} = \sum {\kappa = 1}^{\ell} \frac{\partial e_{\kappa}}{\partial \hat{w} j} = \sum {\kappa = 1}^{\ell} \frac{\partial e_{\kappa}}{\partial a_{\kappa}} \frac{\partial a_{\kappa}}{\hat{w} j} = \sum {\kappa = 1}^{\ell} \hat{x} {\kappa j} \delta {\kappa}$
其中，$\delta_{\kappa} = \frac{\partial e_{\kappa}}{\partial a_{\kappa}}$，$a_