统计学习方法 第6章 逻辑斯谛回归与最大熵模型(2)

本文介绍了最大熵模型的学习过程,包括约束最优化问题及其解决方法。通过引入拉格朗日乘子,定义拉格朗日函数,并利用对偶问题简化求解过程。文章还详细描述了两种最优化算法:改进的迭代尺度法IIS和拟牛顿法BFGS算法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

统计学习方法 第6章 逻辑斯谛回归与最大熵模型(2)

最大熵模型的学习

最大熵模型的学习等价于约束最优化问题:

即:

首先,引进拉格朗日乘子w0,…,wn,定义拉格朗日函数L(P,w):

最优化问题的原始问题:

对偶问题:

对偶函数的极大化等价于最大熵模型的极大似然估计。(证明p87)

先求解内部的极小化问题,得到:

即为最大熵模型,其中:

之后可用最优化算法求解对偶问题外部的极大化问题,得到w。

模型学习的最优化算法

改进的迭代尺度法IIS
  1. 对所有i,取初值wi=0
  2. 对每一i:
    1. 另δi是方程

      的解,其中
    2. 更新wi值为wii
  3. 如果不是所有wi都收敛,重复步骤2
拟牛顿法BFGS算法
  1. 选定初始点w(0),取B0为正定对称矩阵,置k=0
  2. 计算

    ,若

    则停止,最优参数

    ,否则进入步骤3


  3. 求pk
  4. 一维搜索:求λk使得

  5. 计算

    ,若

    则停止,最优参数

    ,否则求Bk+1

    ,其中:
  6. 置k=k+1,转步骤3
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值