46、线性排序函数的学习相关复杂度分析

线性排序函数的学习相关复杂度分析

1. 线性排序函数基础

在开始深入探讨之前，我们先明确一些基本概念。设 $K$ 表示集合 ${1, 2, …, k}$，我们考虑从 $\mathbb{R}^n$ 到 $K$ 的函数。
- 线性排序函数 ：线性排序函数 $f: \mathbb{R}^n \to K$ 定义为 $f(x) = \min_{r\in K}{r : w \cdot x - b_r < 0}$，其中 $w \in \mathbb{R}^n$，$b = (b_1, b_2, …, b_{k - 1})$ 且 $b_1 \leq b_2 \leq … \leq b_{k - 1}$，$b_k = \infty$。用 $LR$ 表示线性排序函数的类。
- 决策列表 ：为了进行比较，我们考虑一个更大的函数类。设 $B$ 是从 $\mathbb{R}^n$ 到 ${-1, 1}$ 的函数类。对于任意的 $g_1, g_2, …, g_{k - 1} \in B$ 且 $g_k \equiv 1$，定义一种决策列表 $dl[g_1, g_2, …, g_{k - 1}]: \mathbb{R}^n \to K$ 为 $dl g_1, g_2, …, g_{k - 1} = \min{i : g_i(x) = 1}$。用 $DL_B$ 表示这类决策列表的类。这里，作为条件函数类，我们只考虑线性判别函数类 $L$，即函数 $f(x) = \begin{cases} 1 & \text{if } w \cdot x < b \ -1 & \te