AIC信息
假设ff为可以反映真实情况的理想模型,为用来近似真实情况的模型。两个模型见的Kullback−LeiblerKullback−Leibler信息距离(K−LK−L距离)是指有模型gg来近似所带来的信息损失。简称gg到的距离,K−LK−L距离由式(1)(1)表示。
I(f,g)=∫f(x)log⟮f(x)f(x|θ)⟯dx(1)(1)I(f,g)=∫f(x)log⟮f(x)f(x|θ)⟯dx
gg到的K−LK−L距离越小,则代表模型gg越好。整理式可知,K−LK−L距离可以由两个ff的期望来表示,其中,第一个期望是仅与未知的真实集相关的定值。
I(f,g)=∫f(x)log(f(x))dx−∫f(x)log(g(x|θ))dx=Ef[log(f(x))]−Ef[log(g(x|θ))]=C−Ef[log(g(x|θ))](2)(2)I(f,g)=∫f(x)log(f(x))dx−∫f(x)log(g(x|θ))dx=Ef[log(f(x))]−Ef[log(g(x|θ))]=C−Ef[log(g(x|θ))]
则可以定义相对K−LK−L 距离,比较不用模型gg的相对距离大小,同样可以对模型优劣程度做比较
I(f,g)−C=−Ef[log(g(x|θ))](3)(3)I(f,g)−C=−Ef[log(g(x|θ))]
相对于K−LK−L距离在实际模型比较重仍然不适用,因为相对K−LK−L距离的计算依赖于真实集ff,提出了一种估计K−LK−L距离的特定方法。给定一个模型形式gg,存在一个特定模型参数,使得gg到的K−LK−L距离最小。这个特定的模型参数θ0θ0 依赖于真实集ff,模型形式,以及样本集xx。所以,提出用极大似然估计出的θ^θ^ 来估计θ0θ0 ,则模型挑选准则从相对K−LK−L距离的比较进一步转化成对期望估计的K−LK−L距离的比较:
EyEx[log⟮g⟮x|θ^(y)⟯⟯](4)(4)EyEx[log⟮g⟮x|θ^(y)⟯⟯]
AkaikeAkaike发现这个K−LK−L距离的估计在实际情况中,存在过估计,过估计的量近似等于需要估计的模型参数个数K+1K+1。即
log⟮L⟮θ^|data⟯⟯−(k+1)=C−E^θ^⟮I⟮f,g^⟯⟯(5)(5)log⟮L⟮θ^|data⟯⟯−(k+1)=C−E^θ^⟮I⟮f,g^⟯⟯
因此,AkaikeAkaike定义了期望相对K−LK−L距离来作为模型挑选的准则,称为AkaikeAkaike信息准则(Akaike′sinformationCriterion,AIC)(Akaike′sinformationCriterion,AIC),即:
AIC=−2log⟮L⟮θ^|y⟯⟯+2(k+1)AIC=−2log⟮L⟮θ^|y⟯⟯+2(k+1)
特别的,用最小二乘法估计的方法简化上式,则AICAIC可进一步表示为:
AIC=nlog⟮σ^2⟯+2(k+1)(6)(6)AIC=nlog⟮σ^2⟯+2(k+1)
式中,σ^2σ^2是σ2σ2的极大似然估计;nn为样本大小;为残差平方和。
σ^2=RSSn(7)(7)σ^2=RSSn