41、非结构化数据的神经网络：多层感知机的原理与应用

非结构化数据的神经网络：多层感知机的原理与应用

在机器学习领域，神经网络是一个强大且广泛应用的工具。本文将深入探讨非结构化数据的神经网络，特别是多层感知机（Multilayer Perceptrons, MLPs）的原理、应用及相关技术细节。

1. 引言

在之前的讨论中，我们涉及了用于回归和分类的线性模型，如线性回归、逻辑回归和广义线性模型。线性回归对应模型 (p(y|x, w) = N(y|w^{\top}x, \sigma^2))，逻辑回归在二分类情况下对应 (p(y|x, w) = Ber(y|\sigma(w^{\top}x)))，多分类情况下对应 (p(y|x, w) = Cat(y|S(Wx)))，广义线性模型则具有 (p(y|x; \theta) = p(y|g^{-1}(f(x; \theta))) 的形式，其中 (f(x; \theta) = Wx + b) 是输入的线性（仿射）变换，(W) 为权重，(b) 为偏置。

然而，线性假设具有很大的局限性。为了增加模型的灵活性，一种简单的方法是进行特征变换，将 (x) 替换为 (\varphi(x))，例如使用多项式变换 (\varphi(x) = [1, x, x^2, x^3, \ldots])，这有时被称为基函数展开。此时模型变为 (f(x; \theta) = W\varphi(x) + b)，虽然在参数 (\theta = (W, b)) 上仍然是线性的，便于模型拟合，但手动指定特征变换具有很大的限制。

自然的扩展是为特征提取器赋予其自身的参数 (\theta’)，得到 (f(x; \theta, \theta’) = W\varphi(x; \theta’) + b)。通过递归地重复这个