最大似然估计（MLE）的一些公式与定理（python实践）

最新推荐文章于 2025-04-14 09:36:49 发布
原创 最新推荐文章于 2025-04-14 09:36:49 发布 · 2.3k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

分享一下我老师大神的人工智能教程。零基础！通俗易懂！风趣幽默！还带黄段子！希望你也加入到我们人工智能的队伍中来！https://blog.youkuaiyun.com/jiangjunshow

                       

单参的情况

给定观察集D=(Fi

最低0.47元/天 解锁文章
如何使用 Python 实现极大似然估计？
2301_78484069的博客
06-17 2115
极大似然估计（maximum likelihood estimation，简称 MLE）是一种常用的参数估计方法。它通过对已知样本数据进行分析，推导出能够最大程度地描述这些数据分布特征的参数值。在这个示例程序中，我们首先生成了一个服从正态分布的样本数据。然后，通过定义似然函数和最大化似然函数的方法，计算出最大似然估计的参数值。最后，输出真实参数和估计参数的值。需要注意的是，在实际应用中，极大似然估计可能会受到数据样本量和数据质量等因素的影响，因此需要进行适当的调整和验证才能得出可靠的结果。
python实现最大似然函数与结果展示
全网120W+关注AI拉呱，专注人工智能以及科技前沿！
06-10 1331
最大似然函数 source coding # -*- coding:utf-8 -*- # /usr/bin/python ''' @Author: Yan Errol @Email:2681506@gmail.com @Date: 2019-06-03 16:12 @File： @Describe: @Evn: ''' import numpy as np import tens...
python简单实现最大似然估计&scipy库的使用详解
09-17
主要介绍了python简单实现最大似然估计&scipy库的使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
基于python理解最大似然MLE-（简单正态分布估计、高斯混合模型GMM）
tRNA的博客
08-13 1211
基于python理解最大似然估计
python参数估计_最小二乘与最大似然参数估计及Python实现
weixin_39624980的博客
01-29 2210
最小二乘法曲线拟合参数估计：简单起见，这里以一元线性回归为例进行介绍：假设我们获取了一组样本点数据：利用最小二乘法用多项式曲线拟合这组样本点:1、设拟合多项式为：2、样本点到该曲线的距离平方和为：目标函数为：上式对参数求偏导有：则上式等价于：若X’X的逆矩阵存在：是一个解析解(即一步到位的解法)在测试中，我们假设训练样本是在曲线y=(x2-1)3+(x-0.5)2+3sin(2x)的基础上对x和y...
Python实现极大似然估计
XerCis的博客
03-23 2万+
调用scipy.stats.norm.fit()
深度理解线性回归&中心极限定理&最大似然估计MLE&MSE推导
小安的博客
08-13 2444
深度理解线性回归&中心极限定理&最大似然估计&MSE推导。
【威布尔分布参数估计】最大似然估计（MLE）：通过样本数据最大化似然函数来估计参数
[【威布尔分布参数估计】最大似然估计（MLE）：通过样本数据最大化似然函数来估计参数](https://community.jmp.com/t5/image/serverpage/image-id/47573i462746AE4105B48C?v=v2) # 1. 威布尔分布参数估计概述 在...
机器学习笔记——极大似然估计与最大后验概率估计
静静的学习就好
07-05 2391
开设一个新的专题——机器学习部分，大家共同努力
贝叶斯统计与最大似然估计简要介绍
### 贝叶斯统计与最大似然估计简要介绍 #### 1. 贝叶斯定理与概率计算 已知公式 \(P(H|D) = \frac{P(H) * P(D|H)}{P(D)}\)，其中 \(P(D|H) = 0.5\)，\(P(D) = \frac{50 + 30}{100 + 100} = 0.4\)。 由此可计算得出 ...
【机器学习算法-python实现】最大似然估计(Maximum Likelihood)
热门推荐
Garvin的专栏
08-25 2万+
1.背景           最大似然估计是概率论中常常涉及到的一种统计方法。大体的思想是，在知道概率密度f的前提下，我们进行一次采样，就可以根据f来计算这个采样实现的可能性。当然最大似然可以有很多变化，这里实现一种简单的，实际项目需要的时候可以再更改。       博主是参照wiki来学习的，地址请点击我           这里实现的是特别简单的例子如下（摘自wiki的最大似然）离散分布，离散
最大似然估计
cug_coffee的博客
03-16 416
现在简单写写最大似然估计。 最大似然估计是一个概率估计问题，譬如已知一个数据空间XXX，数据XXX中的每一个样本都有n为特征。有样本整体x=[x1,x2,x3,x4,.....,xn]x=[x_1,x_2,x_3,x_4,.....,x_n]x=[x1​,x2​,x3​,x4​,.....,xn​]。同时了有这样的先验知识，知道数据空间XXX里面所有的样本，都符合一个的概率密度函数(prob de...
Python实现最大似然估计
qq_37402392的博客
09-13 1385
注意，这个例子假设csv文件中的每一行（除了第一行）都有相同数量的数据，并且所有的数据都可以被转换为浮点数。如果你的csv文件不符合这些假设，你可能需要修改这段代码以适应你的具体情况。这段代码会跳过csv文件的第一行（列名），然后读取每一行的数据，将每一行的数据转换为浮点数的列表，然后将这些列表添加到。当数据维度为1时，我们函数会返回对应的均值和方差。这段代码会读取csv文件中的每一行，并将每一行的数据转换为浮点数的列表，然后将这些列表添加到。这个部分，我们使用的是csv数据。下面介绍数据处理的方法。
Python FFT 最大似然估计
guce2885的博客
05-08 499
Python使用FFT 变换https://blog.youkuaiyun.com/qq_27825451/article/details/88553441
Python实现最大似然估计概率模型(GenericLikelihoodModel算法)项目实战
张陈亚的博客
03-08 1387
Python实现最大似然估计概率模型(GenericLikelihoodModel算法)项目实战
【最大似然估计】详解概率论之最大似然估计
程序星空实验室
06-21 1万+
最大似然估计(Maximum Likelihood Estimation，简称MLE)。它是机器学习中常用的一种参数估计方法。它提供了一种给定观测数据来评估模型参数的方法。也就是模型已知，参数未定。利用已知样本结果（统计概率）反推最有可能导致这样结果的参数值。.........
Python----机器学习（极大似然估计与交叉熵损失函数）
weixin_64110589的博客
04-14 1190
在机器学习中，对于不同类型的问题，我们通常需要选择合适的损失函数来指导模型的学习过程。损失函数的选择不仅影响模型的性能，还直接关系到优化过程的效率与结果的精准性。特别是在回归预测和分类问题之间，损失函数的性质和应用差异显著。以下是对均方误差（MSE）和交叉熵损失函数（Cross-Entropy Loss）的对比分析。
python机器学习案例系列教程——极大似然估计、EM算法
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
02-27 1万+
全栈工程师开发手册 （作者：栾鹏） python数据挖掘系列教程 极大似然 极大似然（Maximum Likelihood）估计为用于已知模型的参数估计的统计学方法。 也就是求使得似然函数最大的代估参数的值。而似然函数就是如果参数已知则已出现样本出现的概率。 比如，我们想了解抛硬币是正面（head）的概率分布θθθ；那么可以通过最大似然估计方法求得。 θ^=argm...
贝叶斯最大似然估计
最新发布
07-11
贝叶斯最大似然估计（Bayesian Maximum Likelihood Estimation）是统计学中用于参数估计的重要方法之一，结合了贝叶斯定理与极大似然估计的思想。其核心目标是在给定数据的条件下，找到最可能产生这些数据的模型参数值。 ### 原理 贝叶斯最大似然估计的基本思想可以分为两个部分：**先验分布**和**似然函数**。根据贝叶斯定理，后验概率 $ P(\theta | D) $ 可以表示为： $$ P(\theta | D) = \frac{P(D | \theta) P(\theta)}{P(D)} $$ 其中： - $ P(\theta | D) $ 是后验概率，即在观察到数据 $ D $ 的条件下，参数 $ \theta $ 的概率。 - $ P(D | \theta) $ 是似然函数，描述了在给定参数 $ \theta $ 下观察到数据 $ D $ 的概率。 - $ P(\theta) $ 是先验概率，代表在没有观测数据之前对参数 $ \theta $ 的已有知识。 - $ P(D) $ 是边缘似然，是一个归一化常数，通常不影响最大化过程。 贝叶斯最大似然估计的目标是最大化后验概率 $ P(\theta | D) $，即寻找最优参数 $ \theta^* $ 使得： $$ \theta^* = \arg\max_{\theta} P(\theta | D) $$ 由于 $ P(D) $ 是一个常数，最大化 $ P(\theta | D) $ 等价于最大化分子 $ P(D | \theta) P(\theta) $。因此，贝叶斯最大似然估计可以看作是对似然函数和先验信息的联合优化[^1]。 ### 实例 一个经典的实例是**高斯分布参数估计**。假设我们有一组独立同分布的数据 $ x_1, x_2, ..., x_n $，它们服从正态分布 $ N(\mu, \sigma^2) $，其中均值 $ \mu $ 未知，标准差 $ \sigma $ 已知。我们的任务是估计均值 $ \mu $。 #### 似然函数 对于正态分布，似然函数为： $$ L(\mu) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_i - \mu)^2}{2\sigma^2}\right) $$ 取对数似然后： $$ \log L(\mu) = -\frac{n}{2} \log(2\pi\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^{n} (x_i - \mu)^2 $$ #### 先验分布 假设均值 $ \mu $ 的先验分布也是正态分布 $ N(m_0, s_0^2) $，则其概率密度函数为： $$ P(\mu) = \frac{1}{\sqrt{2\pi s_0^2}} \exp\left(-\frac{(\mu - m_0)^2}{2s_0^2}\right) $$ #### 后验分布 将似然函数和先验分布代入贝叶斯公式，并忽略常数项，可得后验分布的形式。通过最大化后验分布，可以得到最终的参数估计结果： $$ \mu^* = \frac{\frac{1}{s_0^2} m_0 + \frac{n}{\sigma^2} \bar{x}}{\frac{1}{s_0^2} + \frac{n}{\sigma^2}} $$ 其中 $ \bar{x} $ 是样本均值。可以看出，该估计结果是先验均值 $ m_0 $ 和样本均值 $ \bar{x} $ 的加权平均，权重取决于先验方差 $ s_0^2 $ 和样本误差 $ \sigma^2 $ 的相对大小[^1]。 ### 应用场景 贝叶斯最大似然估计广泛应用于以下领域： - **自然语言处理**：如主题建模中的潜在狄利克雷分布（LDA），使用贝叶斯方法估计文档的主题分布。 - **图像识别**：在卷积神经网络（CNN）中，贝叶斯推断用于不确定性量化和模型校准。 - **金融建模**：用于预测股票价格波动、风险评估等，尤其是在小样本情况下更为稳健。 ### 代码示例 以下是一个简单的 Python 示例，展示如何使用 `scipy` 进行贝叶斯最大似然估计： ```python import numpy as np from scipy.stats import norm from scipy.optimize import minimize_scalar # 生成模拟数据 np.random.seed(42) data = np.random.normal(loc=5.0, scale=2.0, size=100) # 定义负对数似然函数（考虑先验） def neg_log_posterior(mu, data, sigma=2.0, prior_mu=0.0, prior_sigma=10.0): # 似然部分 log_likelihood = np.sum(norm.logpdf(data, loc=mu, scale=sigma)) # 先验部分 log_prior = norm.logpdf(mu, loc=prior_mu, scale=prior_sigma) return -(log_likelihood + log_prior) # 最大化等价于最小化负值 # 最大化后验估计 result = minimize_scalar(lambda mu: neg_log_posterior(mu, data), bounds=(0, 10), method='bounded') estimated_mu = result.x print(f"Estimated mean (Bayesian MLE): {estimated_mu}") ``` 输出结果会给出基于贝叶斯最大似然估计的均值估计值。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值