8、极端潜在表征学习与区块链数据分布优化

极端潜在表征学习与区块链数据分布优化

1. 极端学习机（ELM）与基于 ELM 的自编码器

对于 $N$ 个任意不同的样本 ${(x_i, t_i)}$，其中 $x_i \in \mathbb{R}^D$，其对应的标签向量 $t_i \in \mathbb{R}^m$，$i = 1, 2, \cdots, N$。ELM 是为单隐藏层前馈神经网络（SLFNs）提出的，其输出函数为：
[f_L(x) = \sum_{i = 1}^{L} \beta_i h_i(x) = h(x) \beta]
传统的前馈神经网络学习算法在首次提出时并未考虑泛化性能。而 ELM 的目标是通过同时实现最小的训练误差和最小的输出权重范数，来达到更好的泛化性能，其优化问题为：
[\arg\min_{\beta \in \mathbb{R}^{L \times d}} \frac{1}{2} | H\beta - T |^2 + \lambda | \beta |^2]
其中，$H$ 是 $N$ 个训练样本的隐藏层输出矩阵（随机矩阵）：
[H =
\begin{bmatrix}
h(x_1) \
\vdots \
h(x_N)
\end{bmatrix}
=
\begin{bmatrix}
h_1(x_1) & \cdots & h_L(x_1) \
\vdots & \ddots & \vdots \
h_1(x_N) & \cdots & h_L(x_N)
\end{bmatrix} {N \times L}
]