≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（八）

平滑splines

有数据集D={(xi,yi),1≤i≤N}

，然后定义目标函数∑Ni=1(yi−f(xi))2+λ∫baf′′(x)2dx

，记为(1)

式。然后我们有如下结论：使（1）最小化的解一定是分段三次多项式。

证明如下。

记F

为函数族a=x0<⋯<xn<xn+1=b上的分段三次多项式（splines），且在首尾两段[x0,x1]和[xn,xn+1]上是一次多项式，那么他一定有4(N−1)+2∗2−3N=N

的自由度。

若f∈F

，则当x∈[x0,x1],x∈[xn,xn+1]时，有f′′(x)=0

。

(2) 我们设g(x)

也是(1)式的解，则下面证明一定能找到f∗使得目标函数比g(x)小，则f∗∈F

,

f∗(xi)=g(xi),∀1≤i≤N

.

(3)记h(x)=g(x)−f∗(x)

，则h(xi)=0,∀1≤i≤N

(4) 下面我们证明，h′′(x)⊥f∗′′

（两者内积为0），即∫bah′′(x)f∗(x)′′dx=0

。

∫bah′′(x)f∗(x)′′dx=∫baf∗(x)′′dh′(x)=f∗(x)′′h′(x)∣ba0−∫bah′(x)df∗(x)′′

且−∫bah′(x)df∗(x)′′=−[∫x1a+∑N−1i=1∫xi+1xi+∫bXN]=⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪∫x1ah′(x)f∗(x)′′′dx∫bXNh′(x)f∗(x)′′′dx∫xi+1xih′(x)f∗(x)′′′constantdx≡0≡0=f∗(x)′′′∫xi+1xih′(x)dx0

所以得到h′′(x)⊥f∗′′

。

(5)有了上述结论后，我们有g(x)=f∗(x)+h(x)⇒g′′(x)=f∗(x)′′+h′′(x)

，然后有∥g′′(x)∥2=∥f∗(x)′′+h′′(x)∥2=∥f∗(x)′′∥2+∥h′′(x)∥2≥∥f∗(x)′′∥2

，所以对于所有的g，我们都有其二阶导数的范数小于f的二阶导数的范数，故在(1)式中代入g总比代入f大（或者相等）。这样我们就把一个无限维的最优化问题变为了有限维。

子波分析

1. 函数的平移与缩放

平移：fk(x)=f(x−k)

缩放：fd(x)=2df(2dx)

组合起来就是fdk(x)=2df(2dx−k)

。由此，对于每个d，我们可以定义一个函数族Fd:{fdk(x),k∈Z}

，写成矩阵形式就是

d⋯−2−1012⋮−2−1⋱k0f00(x)1f11(x)2⋱⋯Fd

2. Hoar函数

(1)定义： h(x)={010≤x≤1else

。

(2)Hoar函数的平滑与缩放。定义Hoar函数族为Hd:{hdk(x),k∈Z}

,

∀d∈Z

。这样我们每个Hd

为一组（胖瘦一样）。

定理1（正交）：Hd

是L2(R)平方可积函数的一个正交基，即对于任意的k≠g，有<hdk(x),hdg(x)>=∫hdkhdgdx=0

。

定理2（增长）：随着d的增加，Hd

张成的闭子空间逐渐增大，且Hd¯¯¯¯¯¯¯⊆Hd+r¯¯¯¯¯¯¯¯¯¯¯。这样，d比较小的函数一定能用d比较大的函数（正交基）来表示，比如h00(x)=h10(x)+h11(x)/2

。直观的理解就是，d越大，分辨率越高。

定理3（完备）：Hd¯¯¯¯¯¯¯↑L2(R)

(3)定义ωd

，使ωd=Hd+1⊖Hd，或者Hd+1=ωd⊕Hd

。

(4)定义w(x)=⎧⎩⎨⎪⎪1−100≤x≤1212≤x≤1else

，然后wdk(x)=2dw(2dx−k),k,d∈Z

。

定理4：函数族ωd:{wdk(x),k∈Z}

,∀d∈Z，则⊕dωd=L2(R)亦为完备基，且ωd⊥ωd?，如果d≠d′。也就是说，Hd+1¯¯¯¯¯¯¯¯¯¯¯和Hd¯¯¯¯¯¯¯

之间的空间随着d的增加，彼此正交，且所有的叠起来之后亦为完备空间。

如此，我们称w(x)

为子波（mother）而h(x)

为father函数。注意，这里Hoar函数非连续。

在更一般的场合，我们寻找f(x)

为father函数，然后定义Fd:{fdk(x),k∈Z}，满足<fdk(x),fdg(x)>=0（正交），且Fd¯¯¯¯¯¯¯⊆Fd+r¯¯¯¯¯¯¯¯¯¯¯（增长），Fd¯¯¯¯¯¯¯↑L2(R)

（完备）。

再寻找mother函数g(x)

满足<gdk(x),gdg(x)>=0（同层次内正交）、Fd+1=Gd⊕Fd(相邻层次正交补）和⊕dGd=L2(R)

完备。

这样的f(x)

和g(x)

到底存不存在呢？实证结论是存在，而且很多，不过坏消息是他们的形式都不算简单。

spline和子波分析

spline和子波分析都提供了一组线性基底，其线性组合可以定义函数类。由此，我们可以定义广义线性模型的函数族，为统计学习模型的函数族做约束。