五、统计学习理论：无界实损失函数上的大数定理

最新推荐文章于 2025-10-02 13:19:26 发布

原创最新推荐文章于 2025-10-02 13:19:26 发布 · 378 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#统计学 #机器学习

机器学习专栏收录该内容

12 篇文章

订阅专栏

前一篇文章，介绍了有界实损失函数下的机器学习ERP原则一致性的充分条件，从无限指示损失函数集推广到了有界实损失函数集。
本文将介绍实无界损失函数集上的一致收敛的条件；同前文,无界实损失函数集记为: $\{Q(x;\theta)|\theta \in \Lambda\}$ 。
记：
$R(\theta)=\int_{R^m}Q(x,\theta)dF(x)$

$R_{exp}(X,\theta)=\frac{1}{n}\sum_{i=1}^nQ(x_i,\theta)$ $X$ 代表任意一个样本集，有 $n$ 个样本。

目标是分析：

P (s u p θ \in Λ ∣ R (θ) - R e x p (X, θ) ∣ \geq ε) \to n \to \infty 0 (1)

$P\big(\underset{\theta \in \Lambda}{sup}\mid R(\theta) -R_{exp}(X,\theta) \mid\ge \varepsilon\big) \overset{n\rightarrow \infty} \rightarrow 0 \qquad (1)$ 成立的条件。

无界实损失函数上的大数定理

先讨论实损失函数 $\int_{R^m} |Q(x,\theta)|dF(x)=B(\theta)\le B<\infty$ 是有界实函数,从Lebesgue积分角度来看 $R(\theta)$ 。

重新表述一下 $\int_{R^m} Q(x,\theta)dF(x)$ :
$\int_{R^m} Q(x,\theta)dF(x)=\underset{l \rightarrow \infty}{lim}\frac{1}{l}\big(\sum_{i=1}^{\infty}P\{Q(x,\theta)>\frac{i}{l}\}+\sum_{i=-1}^{-\infty}P\{Q(x,\theta)<\frac{i}{l}\}\big)$
对于 $R_{exp}(X,\theta)$ ，同样我们有：
$\frac{1}{n}\sum_{k=1}^nQ(x_k,\theta)=\underset{l \rightarrow \infty}{lim}\frac{1}{l}\big(\sum_{i=1}^{\infty}v\{x_k:Q(x_k,\theta)>\frac{i}{l}\}+\sum_{i=-1}^{-\infty}v\{x_k:Q(x_k,\theta)<\frac{i}{l}\}\big)$

定义表达式：

H (x, θ, β) = ⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ∣ ∣ ∣ P { Q ( x , θ ) > β } - v { x k : Q ( x k , θ ) > β } ∣ ∣ ∣ P { | Q ( x , θ ) | > β } ∣ ∣ ∣ P { Q ( x , θ ) < β } - v { x k : Q ( x k , θ ) < β } ∣ ∣ ∣ P { | Q ( x , θ ) | > - β }; w h e n; w h e n \forall β > 0 \forall β < 0

$H(x,\theta,\beta)= \begin{cases} \frac{\bigg|P\{Q(x,\theta)>\beta\}-v\{x_k:Q(x_k,\theta)>\beta\}\bigg|}{P\{|Q(x,\theta)|>\beta\}}&;when &\forall \beta\gt0\\ &\\ \frac{\bigg|P\{Q(x,\theta)\lt\beta\}-v\{x_k:Q(x_k,\theta)\lt\beta\}\bigg|}{P\{|Q(x,\theta)|>-\beta\}}&; when & \forall \beta<0 \end{cases}$
定义事件

Ai:{H(x,θ,i/l)<ε},∀i∈N,l∈N+ $A_i:\{H(x,\theta,i/l)<\varepsilon\},\forall i \in N,l\in N^+$ .

若对于任意的 $\forall i \in N,\forall l\in N^+$ 都有 $A_i$ 成立，即 $\underset{\theta\in \Lambda,i\in N}{sup}H(x,\theta,i/l)<\varepsilon$ 则有：

∣ ∣ ∣ \int R m Q (x, θ) d F (x) - 1 n \sum k = 1 n Q (x k, θ) ∣ ∣ ∣ = l i m l \to \infty 1 l ∣ ∣ ∣ \sum i = 1 \infty (P {Q (x, θ) > i l} - v {x k : Q (x k, θ) > i l}) + \sum i = - 1 - \infty (P {Q (x, θ) < i l} - v {x k : Q (x k, θ) < i l}) ∣ ∣ ∣ \leq l i m l \to \infty 1 l (\sum i = 1 \infty (∣ ∣ ∣ P {Q (x, θ) > i l} - v {x k : Q (x k, θ) > i l} ∣ ∣) + \sum i = - 1 - \infty (P {Q (x, θ) < i l} - v {x k : Q (x k, θ) < i l})) \leq 2 ε l i m l \to \infty 1 l \sum i = 1 \infty P {| Q (x, θ) | > i l}) = 2 ε \int R m | Q (x, θ) | d F (x) \leq 2 ε B

$\begin{array}{1} \bigg|\int_{R^m} Q(x,\theta)dF(x)-\frac{1}{n}\sum_{k=1}^nQ(x_k,\theta)\bigg|\\ \quad=\underset{l \rightarrow \infty}{lim}\frac{1}{l}\bigg|\sum_{i=1}^{\infty}\bigg(P\{Q(x,\theta)>\frac{i}{l}\}-v\{x_k:Q(x_k,\theta)>\frac{i}{l}\}\bigg)\\ \quad\quad +\sum_{i=-1}^{-\infty}\bigg(P\{Q(x,\theta)\lt\frac{i}{l}\}-v\{x_k:Q(x_k,\theta)\lt\frac{i}{l}\}\bigg)\bigg|\\ \quad\le\underset{l \rightarrow \infty}{lim}\frac{1}{l}\bigg(\sum_{i=1}^{\infty}\big(\bigg|P\{Q(x,\theta)>\frac{i}{l}\}-v\{x_k:Q(x_k,\theta)>\frac{i}{l}\}\big|\big)\\ \quad\quad+\sum_{i=-1}^{-\infty}\big(P\{Q(x,\theta)\lt\frac{i}{l}\}-v\{x_k:Q(x_k,\theta)\lt\frac{i}{l}\}\big)\bigg)\\ \quad\le 2\varepsilon\underset{l \rightarrow \infty}{lim}\frac{1}{l}\sum_{i=1}^{\infty} P\{|Q(x,\theta)|>\frac{i}{l}\}\bigg)\\ \quad =2\varepsilon\int_{R^m} |Q(x,\theta)|dF(x)\\ \quad\le 2\varepsilon B \end{array}$

由上面的讨论可以得知：
事件 $\{\underset{\theta\in \Lambda,\theta \in R}{sup}H(x,\theta,i/l)<\varepsilon\}$ 发生蕴含事件 $\{\bigg|\int_{R^m} Q(x,\theta)dF(x)-\frac{1}{n}\sum_{k=1}^nQ(x_k,\theta)\bigg|<2\varepsilon B\}$ 必将发生。

不防假设当 $\beta^*\gt0$ 时，下面的表达式 $H(x,\theta,\beta^*)$ 取得上确界：

$H (x, θ, β *) = s u p θ \in Λ, β \in R ∣ ∣ ∣ P { Q ( x , θ ) > β } - v { x k : Q ( x k , θ ) > β } ∣ ∣ ∣ P { | Q ( x , θ ) | > β }$ $H(x,\theta,\beta^*)=\underset{\theta\in \Lambda,\beta\in R}{sup}\frac{\bigg|P\{Q(x,\theta)>\beta\}-v\{x_k:Q(x_k,\theta)>\beta\}\bigg|}{P\{|Q(x,\theta)|>\beta\}}$
当然也可以取 $\beta\lt0$ 时， $H(x,\theta,\beta)$ 取得上确界，不影响后面的讨论。

根据互补事件概率计算，得到：

P {s u p θ \in Λ ∣ ∣ ∣ \int R m Q (x, θ) d F (x) - 1 n \sum k = 1 n Q (x k, θ) ∣ ∣ ∣ > 2 ε B} \leq P {s u p θ \in Λ; β \in R ∣ ∣ ∣ P { Q ( x , θ ) > β } - P { x k : Q ( x k , θ ) > β } ∣ ∣ ∣ P { | Q ( x , θ ) | > β } > ε} \leq P {s u p θ \in Λ; β \in R (∣ ∣ ∣ \int R m 1 {Q (x, θ) - β} d F (x) - \sum k = 1 n 1 {Q (x k, θ) - β} ∣ ∣ ∣) > α ε}

$\begin{array}{1} P\{\underset{\theta\in \Lambda}{sup}\bigg|\int_{R^m} Q(x,\theta)dF(x)-\frac{1}{n}\sum_{k=1}^nQ(x_k,\theta)\bigg|>2\varepsilon B\}\\ \quad \le P\bigg\{ \underset{\theta\in \Lambda;\beta \in R}{sup}\frac{\bigg|P\{Q(x,\theta)>\beta\}-P\{x_k:Q(x_k,\theta)>\beta\}\bigg|}{P\{|Q(x,\theta)|>\beta\}}\gt\varepsilon\bigg\}\\ \quad \le P\bigg\{\underset{\theta\in \Lambda;\beta \in R}{sup}\bigg(\bigg|\int_{R^m} 1\{Q(x,\theta)-\beta\}dF(x)-\sum_{k=1}^{n}1\{Q(x_k,\theta)-\beta\}\bigg|\bigg)\gt \alpha\varepsilon\bigg\} \end{array}$
其中

0<α=P{|Q(x,θ)|>β∗}≤1,β∗∈R $0\lt \alpha=P\{|Q(x,\theta)|>\beta^*\}\le 1,\beta^* \in R$

这样，我们将有界实函数转化到指示损失函数 $I(x,\theta,\beta)=1\{Q(x,\theta)-\beta\}$ 上,不过增加了一个参数 $\beta$ ,根据指示损失函数上的结论，得到下面的不等式：

P (s u p θ \in Λ ∣ ∣ ∣ \int R m Q (x, θ) d F (x) - 1 n \sum k = 1 n Q (x k, θ) ∣ ∣ ∣ > ε) \leq P (s u p θ \in Λ; β \in (a, b) ∣ ∣ ∣ \int R m 1 {Q (x, θ) - β} d F (x) - \sum k = 1 n 1 {Q (x k, θ) - β} ∣ ∣ ∣ > α ε 2 B) = P (s u p θ \in Λ; β \in (a, b) ∣ ∣ ∣ \int R m I (x, θ, β) d F (x) - \sum k = 1 n I (x i, θ, β) ∣ ∣ ∣ > α ε 2 B) \leq 2 N Λ, β (n) e - ( α ε ) 2 4 B 2 n = 2 e x p ((H Λ , β v c ( n ) n - ( α ε ) 2 4 B 2) n)

$\begin{array}{1} P\big(\underset{\theta\in \Lambda}{sup}\bigg|\int_{R^m} Q(x,\theta)dF(x)-\frac{1}{n}\sum_{k=1}^nQ(x_k,\theta)\bigg|>\varepsilon\big)\\ \quad \le P\bigg(\underset{\theta\in \Lambda;\beta \in (a,b)}{sup}\bigg|\int_{R^m} 1\{Q(x,\theta)-\beta\}dF(x)-\sum_{k=1}^{n}1\{Q(x_k,\theta)-\beta\}\bigg|>\frac{\alpha\varepsilon}{2B}\bigg)\\ \quad = P\bigg(\underset{\theta\in \Lambda;\beta \in (a,b)}{sup}\bigg|\int_{R^m} I(x,\theta,\beta)dF(x)-\sum_{k=1}^{n} I(x_i,\theta,\beta)\bigg|>\frac{\alpha\varepsilon}{2B}\bigg)\\ \quad \le 2N^{\Lambda,\beta}(n)e^{-\frac{(\alpha\varepsilon)^2}{4B^2}n}\\ \quad =2exp\bigg(\big(\frac{H_{vc}^{\Lambda,\beta}(n)}{n}-\frac{(\alpha\varepsilon)^2}{4B^2}\big)n\bigg) \end{array}$
于是有下面的定理：
定理4：在无界实损失函数集

Q(x,θ) $Q(x,\theta)$ 上，函数集满足

∫Rm|Q(x,θ)|dF(x)=B(θ)≤B<∞ $\int_{R^m} |Q(x,\theta)|dF(x)=B(\theta)\le B<\infty$ ,存在

0<α≤1 $0\lt \alpha\le1$ ，

∀ε>0 $\forall \varepsilon\gt0$ ,期望风险和经验风险满足如下不等式：

P (s u p θ \in Λ ∣ ∣ ∣ \int R m Q (x, θ) d F (x) - 1 n \sum k = 1 n Q (x k, θ) ∣ ∣ ∣ > ε) \leq 2 e x p ((H Λ , β v c ( n ) n - ( α ε ) 2 4 B 2) n)

$P\big(\underset{\theta\in \Lambda}{sup}\bigg|\int_{R^m} Q(x,\theta)dF(x)-\frac{1}{n}\sum_{k=1}^nQ(x_k,\theta)\bigg|>\varepsilon\big) \quad \le2exp\bigg(\big(\frac{H_{vc}^{\Lambda,\beta}(n)}{n}-\frac{(\alpha\varepsilon)^2}{4B^2}\big)n\bigg)$
推论4：在实损失函数集

|Q(x,θ)| $|Q(x,\theta)|$ 上，统计学习机期望风险与经验风险一致双边收敛的充分条件是：