14、神经网络学习技巧：SMLP与多任务学习解析

神经网络学习技巧：SMLP与多任务学习解析

1. SMLP理论基础与特性

SMLP（Square Unit Augmented, Radially Extended, Multilayer Perceptrons）在神经网络领域有着独特的优势。从理论上来说，它可以被看作是MLP（Multilayer Perceptrons）的“径向扩展”版本，并且能够近乎完美地近似RBFN（Radial Basis Function Network）。

1.1 激活函数分析

首先，我们来关注一下激活函数。常见的Sigmoid激活函数定义为 $sigmoid(x) = \frac{1}{1 + exp(-x)}$，高斯函数定义为 $gauss(x) = exp(-x^2)$。基于此，我们可以定义一个准高斯函数：
$q(x) = 2 - \frac{2}{gauss(x) + 1} = 2 - 2 sigmoid(x^2)$
这个准高斯函数是通过对输入平方后的Sigmoid函数进行仿射变换得到的。从图形上看，它与真正的高斯函数类似，都是单峰的，并且在两个方向上呈指数衰减。而且，类似的变换也可以应用于双曲正切函数，这意味着两种常见的Sigmoid函数都可以被转换为基函数。

1.2 局部特征形成

基函数通常有中心和宽度，我们希望能够在任意位置形成任意大小的局部特征。一般来说，基函数会包含一个距离度量，比如欧几里得距离。以中心 $c_i$ 和与 $\sigma$ 成比例的宽度为例，归一化的欧几里得距离函数可以重写为：
$\frac{1}{\sigma_i^2} ||x - c_i||^2 = \frac{1}{\sigma_i^