凸优化第七章统计估计 7.1参数分布估计

「已注销」

于 2019-02-16 14:11:34 发布

阅读量1.1k

点赞数 1

分类专栏：凸优化

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/wangchy29/article/details/87437256

版权

本文详细介绍了参数分布估计的概念，包括最大似然估计、Logistic回归和最大后验概率估计。最大似然估计通过最大化观测值出现的概率来估计参数；Logistic回归用于二分类问题，其对数似然函数与解释变量相关；最大后验概率估计结合了先验知识，对不太可能的参数进行惩罚。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

7.1参数分布估计

分布估计问题：从观察变量出发，估计一个随机变量的概率密度。

参数分布估计：从一族概率密度 p_x(y) （x的似然函数，每个概率分布对应一个参数向量x）中，选择一个概率密度。

最大似然估计

参数估计：根据观测到的服从分布的一个样本y，估计参数x的值。而最大似然估计，则是选择是的似然函数在y的观测值处最大的那个参数作为x，直白地说，已知y的观测值，找到使y得观测值出现的概率最大的参数x。

即 $x_{ml}=argmax_x \,\, p_x(y)$ ，其中y是观测值。

而事实上，考虑似然函数的对数更加方便，记 l(x)=log(p_x(y)) ，称为对数似然函数，故 $x_{ml}=argmax_x \,\, p_x(y)=argmax_x \,\, l(x)$

于是最大似然估计问题等价于：

$maximize \, \, log\, p_x(y)$

可以显示的增加约束， $x \in C$ ，表示参数向量x的先验信息或其他约束，也可以隐式地增加约束，定义 $p_x(y)=0,if \, \, x\notin C$

附加了IID(独立同分布)的噪声

考虑线性测量模型：

$y_i=a_i^Tx+v_i,i=1,\cdots m$

其中 $x \in R^n$ 是未知参数向量， v_i 是独立同分布的，在R上具有概率密度p(z)的随机变量。 $y_i \in R$ 是观测值且、

于是似然函数：

$p_x(y)=\prod _{i=1}^mp(y_i-a_i^Tx)$

于是对数似然函数：

$l(x)=log \, p_x(y)=log \,\prod _{i=1}^mp(y_i-a_i^Tx)=\sum_{i=1}^mlog\,p(y_i-a_i^Tx)$

榆树极大似然估计问题等价于:

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。