AIC信息

本文介绍了Kullback-Leibler距离的概念及其在衡量模型拟合程度中的应用,并详细阐述了Akaike信息准则(AIC)的推导过程及其实现方式,通过AIC可以帮助我们选择最优模型。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

AIC信息

​  假设ff为可以反映真实情况的理想模型,g为用来近似真实情况的模型。两个模型见的KullbackLeiblerKullback−Leibler信息距离(KLK−L距离)是指有模型gg来近似f所带来的信息损失。简称ggf的距离,KLK−L距离由式(1)(1)表示。

I(f,g)=f(x)logf(x)f(x|θ)dx(1)(1)I(f,g)=∫f(x)log⟮f(x)f(x|θ)⟯dx

​  ggfKLK−L距离越小,则代表模型gg越好。整理式(1)可知,KLK−L距离可以由两个ff的期望来表示,其中,第一个期望是仅与未知的真实集f相关的定值。

I(f,g)=f(x)log(f(x))dxf(x)log(g(x|θ))dx=Ef[log(f(x))]Ef[log(g(x|θ))]=CEf[log(g(x|θ))](2)(2)I(f,g)=∫f(x)log(f(x))dx−∫f(x)log(g(x|θ))dx=Ef[log(f(x))]−Ef[log(g(x|θ))]=C−Ef[log(g(x|θ))]

​  则可以定义相对KLK−L 距离,比较不用模型gg的相对KL距离大小,同样可以对模型优劣程度做比较
I(f,g)C=Ef[log(g(x|θ))](3)(3)I(f,g)−C=−Ef[log(g(x|θ))]

​  相对于KLK−L距离在实际模型比较重仍然不适用,因为相对KLK−L距离的计算依赖于真实集ffAkaike提出了一种估计KLK−L距离的特定方法。给定一个模型形式gg,存在一个特定模型参数θ0,使得ggfKLK−L距离最小。这个特定的模型参数θ0θ0 依赖于真实集ff,模型形式g,以及样本集xx。所以,Akaike提出用极大似然估计出的θ^θ^ 来估计θ0θ0 ,则模型挑选准则从相对KLK−L距离的比较进一步转化成对期望估计的KLK−L距离的比较:
EyEx[loggx|θ^(y)](4)(4)EyEx[log⟮g⟮x|θ^(y)⟯⟯]

​   AkaikeAkaike发现这个KLK−L距离的估计在实际情况中,存在过估计,过估计的量近似等于需要估计的模型参数个数K+1K+1。即

logLθ^|data(k+1)=CE^θ^If,g^(5)(5)log⟮L⟮θ^|data⟯⟯−(k+1)=C−E^θ^⟮I⟮f,g^⟯⟯

​   因此,AkaikeAkaike定义了期望相对KLK−L距离来作为模型挑选的准则,称为AkaikeAkaike信息准则AkaikesinformationCriterion,AIC)(Akaike′sinformationCriterion,AIC),即:
AIC=2logLθ^|y+2(k+1)AIC=−2log⟮L⟮θ^|y⟯⟯+2(k+1)

​  特别的,用最小二乘法估计的方法简化上式,则AICAIC可进一步表示为:
AIC=nlogσ^2+2(k+1)(6)(6)AIC=nlog⟮σ^2⟯+2(k+1)

​  式中,σ^2σ^2σ2σ2的极大似然估计;nn为样本大小;RSS为残差平方和。
σ^2=RSSn(7)(7)σ^2=RSSn
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值