20、凸组合与多层感知机的熵数研究

凸组合与多层感知机的熵数研究

1. 引言

在机器学习领域，许多算法（如提升算法、线性规划机和多层径向基函数网络）的泛化性能界限，需要对相应假设类的覆盖数或熵数进行良好估计。这些假设类由基函数的凸组合和串联生成，本文旨在为这些熵数提供泛函分析界限。

1.1 研究背景

支持向量机（SV）的泛化性能理论界限，源于统计学习理论的一般结果以及对其诱导函数类覆盖数的良好估计。Williamson等人展示了如何利用算子的熵数来获得这些界限。本文在此基础上进行扩展和改进，以处理其他类型的学习机，包括假设的凸组合和假设类的串联。

1.2 现有研究回顾

• Lee等人证明了通过 2 约束定义的函数类在假设凸组合下的覆盖数，但仅基于Maurey定理，忽略了核的影响。
• Gurvits和Koiran给出了类似设置的界限。
• Bartlett基于多层感知机的权重约束证明了胖粉碎维度的界限。

2. 泛函分析工具

2.1 熵数定义

熵数是覆盖数的泛函逆，在实际分析中更易于处理。对于度量空间 A = (A, d) 中的集合 A ，其第 n 个熵数 εn(A) 定义为满足存在 a1, ..., an ∈ A 使得 A ⊆ ⋃i=1n εUA + ai 的最小半径 ε 。对于算子 T: A → B