如何才能建立起似然函数

最新推荐文章于 2025-05-16 09:39:34 发布
最新推荐文章于 2025-05-16 09:39:34 发布
阅读量3.2k 收藏
点赞数
分类专栏： 李航统计学系方法系列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/studyvcmfc/article/details/108025584
版权

函数形式表达:

                 P(y=0|w,x) = 1 – g(z)

                 P(y=1|w,x) =  g(z)

                 P(正确) =(g(w,xi))^{y^{i}} * (1-g(w,xi))^{1-y^{i}}        y^{i}为某一条样本的预测值,取值范围为0或者1.

        到这里,我们得到一个回归函数,它不再像y=wT * x一样受离群值影响,他的输出结果是样本预测为正例的概率(0到1之间的小数).我们接下来解决第二个问题:选定一个阈值.

似然函数是如下式子的连乘 （下面的2分类是个个例）

 似然 =连乘 (g(w,xi))^{y^{i}} * (1-g(w,xi))^{1-y^{i}} 

到底多少个连乘呢  要看有多少组样本，毕竟一组样本就确定了一个分类 ，n个样本就是N次分类

式子 (g(w,xi))^{y^{i}} * (1-g(w,xi))^{1-y^{i}} 代表了一次分类，因为该次分类，不确定y为0 还是 1，也可以说y既可以是0也可以是1

要把N个样本每次的分类都代进上式子才能建立起似然函数

 

 

 

 

https://blog.youkuaiyun.com/weixin_39445556/article/details/83930186

从最大似然到EM算法浅解
wenyusuran的专栏
05-15 720
机器学习十大算法之一：EM算法。能评得上十大之一，让人听起来觉得挺NB的。什么是NB啊，我们一般说某个人很NB，是因为他能解决一些别人解决不了的问题。神为什么是神，因为神能做很多人做不了的事。那么EM算法能解决什么问题呢？或者说EM算法是因为什么而来到这个世界上，还吸引了那么多世人的目光。        我希望自己能通俗地把它理解或者说明白，但是，EM这个问题感觉真的不太好用通俗的语言去说明白，
AI实践之路：线性/逻辑回归背后的广义线性模型与最大似然估计
Jhll97的博客
04-30 558
写上一篇文章的过程中，讲到逻辑回归是如何利用Sigmoid函数将线性回归的数值转换为概率时，才意识到自己对逻辑回归的理解并不透彻，为什么是Sigmoid函数？它一个？数学原理是什么？为了增加理解，整理了自己所查的资料与理解。 ...
似然函数 Likelihood Function
06-05
似然函数概念介绍
似然函数
WLLASTYBZ1314的专栏
05-07 1309
似然函数 在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。似然函数在统计推断中有重大作用，如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。概率用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而似然性则是
6.4 似然函数
最新发布
Leroi64的博客
05-16 762
似然函数（Likelihood Function）是统计学中用于参数估计的核心工具，其核心目标是：在已知样本数据的情况下，寻找最能解释这些数据的模型参数。
极大似然估计 EM算法 Kmeans收敛性
weixin_43269492的博客
04-20 746
极大似然估计 估计类条件概率的一种常用策略是先假定其具有某种确定的概率分布形式，再基于训练样本对概率分布的参数进行估计。 贝叶斯决策 首先先看贝叶斯公式 p(w)为先验概率，表示了每一种标签类别分布的概率 p(x|w)表示条件概率，表示了在某种类别的前提下，出现某类特征的概率 p(w|x)表示后验概率，表示出现了某些特征，并且此时这个样本属于某一类别的概率，可以根据后验概率的大小，进行分类 极大似然估计 极大似然估计就是为了利用已知的样本结果，反推最有可能导致这种结果的参数值。 原理：极大似然估计提供了一
最大似然估计(MLE)简单入门教程
quaer的博客
09-30 996
最大似然估计MLE 是一种技术，可以生成对要拟合数据的任何分布的参数的最可能估计值。估计值是通过最大化数据来自的分布的对数似然函数来计算的。本文解释了 MLE 的工作原理和方式，以及它与 MAP 等类似方法的不同之处。还解释了似然函数的定义以及如何推导它。最后还使用了一个从泊松分布计算 MLE 的示例，并解释了 MLE 的两个重要属性，即一致性和渐近正态性。希望这对任何学习统计和数据科学的人有所帮助！
极大似然估计 似然（likelihood）和概率（probability） 通俗地理解概率论
guo97的博客
09-11 2245
前言 最大似然估计说的就是，如果事情发生了，那必然是概率最大的。 一般来说，我们都觉得硬币是公平的，也就是“花”和“字”出现的概率是差不多的。如果我扔了100次硬币，100次出现的都是“花”。在这样的事实下，我觉得似乎硬币的参数不是公平的。你硬要说是公平的，那就是侮辱我的智商。这种通过事实，反过来猜测硬币的情况，就是似然。而且，我觉得最有可能的硬币的情况是，两面都是“花”：通过事实，推断出最有可能的硬币情况，就是最大似然估计。 1 概率vs似然 1.1 概率 已知硬币的参数，就可以去推测抛硬币的各种情况的
似然函数学习笔记
han_xj的博客
12-17 4155
定义： 在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。似然性，是用于在已知某些观测所得到的结果时，对有关事物之性质的参数进行估值。 我们可以反过来构造表示似然性的方法：已知有事件A发生，运用似然函数L(B∣A)L(B|A)L(B∣A)，我们估计参数B的可能性。形式上，似然函数也是一种条件概率，但我们关注的变量改变了： b↦P(A∣B=b)b \mapsto P(A \mid B=b)b↦P(A∣B=b) 这里并不要求似然函数满足归一性：∑b∈BP(A∣B=b)=1\sum
似然函数解释
qq_51011530的博客
09-18 4577
似然函数（Likelihood Function）是统计学中用于估计模型参数的一种函数。它描述了在给定模型参数的情况下，观测到当前数据的概率。简单来说，似然函数衡量的是模型参数值与数据之间的匹配程度。似然函数的值越大，表示在当前参数下数据出现的可能性越大。假设我们有一个参数为θ\thetaθ的模型，观测到的样本数据为Xx1x2xnXx1​x2​xn​，那么似然函数Lθ∣XLθ∣XLθ∣XPX∣θLθ∣XPX∣θX。
数学基础-似然函数
我要做全栈
08-07 9090
一、简介 似然和概率的区别： 概率：特定条件下某个事件发生的可能性； 事件发生之前 已知环境参数 根据环境推测结果 似然：根据结果推测事件发生的可能环境 事件已经发生 环境参数未知 根据结果推测环境参数 条件概率：已知θ\thetaθ，xxx的概率 p(x∣θ)p(x|\theta)p(x∣θ) 似然函数：已知xxx，参数为θ\thetaθ的概率 L(θ∣x)L(\theta|x)L(θ∣x) 条件概率和似然函数在数值上是相等的，即： L(θ∣x)=p(x∣θ)L(\theta|x)=p(x|\th
对似然函数的理解
weixin_30955617的博客
09-19 1278
一直对贝叶斯里面的似然函数（likelihood function），先验概率（prior），后验概率（posterior）理解得不是很好，今天仿佛有了新的理解，记录一下。 看论文的时候读到这样一句话： 原来只关注公式，所以一带而过。再重新看这个公式前的描述，细思极恐。 the likelihood function of the parameters θ = {w,α,β} ...
线性回归的极大似然估计
03-30
<think>嗯，我现在需要理解线性回归的极大似然估计。首先，我记得线性回归是用来建立自变量和因变量之间关系的模型，通常用最小二乘法来估计参数。但为什么这里提到极大似然估计呢？是不是说极大似然估计和最小二乘法有关系？ 让我先回忆一下线性回归的基本形式。假设有数据点$(x_i, y_i)$，其中$x_i$是自变量，$y_i$是因变量。线性回归模型可以表示为： $$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$ 这里$\beta_0$和$\beta_1$是待估计的参数，$\epsilon_i$是误差项。通常假设误差项服从正态分布，均值为0，方差为$\sigma^2$，也就是$\epsilon_i \sim N(0, \sigma^2)$。这可能和极大似然估计有关，因为极大似然需要假设误差的分布。 接下来，极大似然估计的原理是找到参数使得观测数据出现的概率最大。那如何应用到线性回归中呢？首先，我需要写出似然函数。因为每个$y_i$都是独立同分布的，所以它们的联合概率密度函数就是各个概率密度的乘积。 假设误差项$\epsilon_i$独立且服从正态分布，那么$y_i$的条件分布也是正态的，即$y_i | x_i \sim N(\beta_0 + \beta_1 x_i, \sigma^2)$。因此，$y_i$的概率密度函数为： $$ f(y_i | x_i; \beta_0, \beta_1, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(y_i - (\beta_0 + \beta_1 x_i))^2}{2\sigma^2}\right) $$ 那么似然函数是所有样本点概率密度的乘积： $$ L(\beta_0, \beta_1, \sigma^2) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(y_i - (\beta_0 + \beta_1 x_i))^2}{2\sigma^2}\right) $$ 为了方便计算，通常取对数似然函数： $$ \ln L = -\frac{n}{2} \ln(2\pi) - \frac{n}{2} \ln(\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^n (y_i - (\beta_0 + \beta_1 x_i))^2 $$ 接下来，为了最大化对数似然函数，需要对参数$\beta_0$、$\beta_1$和$\sigma^2$求导并令导数为零。注意到对于$\beta_0$和$\beta_1$，最大化对数似然相当于最小化残差平方和$\sum_{i=1}^n (y_i - (\beta_0 + \beta_1 x_i))^2$，这和最小二乘法的目标函数是一样的。因此，极大似然估计给出的$\beta$参数估计和最小二乘法的结果相同。 那对于$\sigma^2$的估计呢？求导之后应该能得到它的估计量，可能是一个有偏估计？例如，可能分母是n而不是n-2？不过需要具体推导一下。 另外，可能需要考虑多元线性回归的情况，此时参数$\beta$是一个向量，推导过程类似，但需要用到矩阵的导数。不过用户的问题可能先关注简单的一元情况，然后再推广。 有没有可能哪里出错了？比如，是否必须假设误差服从正态分布才能用极大似然？是的，因为如果误差不是正态的，极大似然估计可能和最小二乘的结果不同。所以在线性回归中使用极大似然估计的前提是误差项的正态性假设。 总结一下步骤应该是：建立模型，假设误差分布，写出似然函数，取对数，求导，解得参数估计。然后指出在正态假设下，极大似然估计与最小二乘结果一致，并得到$\sigma^2$的估计量。</think>线性回归的极大似然估计（MLE）是一种基于概率模型的参数估计方法，其核心是假设误差服从正态分布，并通过最大化观测数据出现的概率来求解参数。以下是详细步骤和解释： --- ### **1. 线性回归模型与假设** 假设有$n$个观测数据$(x_i, y_i)$，线性模型为： $$y_i = \beta_0 + \beta_1 x_i + \epsilon_i,$$ 其中： - $\beta_0, \beta_1$为待估参数， - $\epsilon_i$为误差项，满足$\epsilon_i \sim N(0, \sigma^2)$（独立同分布的正态误差）。 --- ### **2. 构建似然函数** 由于$y_i$的条件分布为$y_i | x_i \sim N(\beta_0 + \beta_1 x_i, \sigma^2)$，其概率密度函数为： $$ f(y_i | x_i; \beta_0, \beta_1, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(y_i - (\beta_0 + \beta_1 x_i))^2}{2\sigma^2}\right). $$ 所有观测值的联合似然函数为： $$ L(\beta_0, \beta_1, \sigma^2) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(y_i - (\beta_0 + \beta_1 x_i))^2}{2\sigma^2}\right). $$ --- ### **3. 对数似然函数** 取自然对数简化计算： $$ \ln L = -\frac{n}{2} \ln(2\pi) - \frac{n}{2} \ln(\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^n (y_i - (\beta_0 + \beta_1 x_i))^2. $$ --- ### **4. 最大化对数似然** 为最大化$\ln L$，需分别对$\beta_0$、$\beta_1$和$\sigma^2$求偏导并令其为0。 #### **(1) 对$\beta_0$和$\beta_1$求导** 最大化$\ln L$等价于最小化**残差平方和**： $$ \sum_{i=1}^n (y_i - (\beta_0 + \beta_1 x_i))^2. $$ 这与最小二乘法（OLS）的目标函数一致，因此： - $\hat{\beta}_0$和$\hat{\beta}_1$的MLE估计与OLS结果相同。 #### **(2) 对方差$\sigma^2$求导** 解得方差估计量为： $$ \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2, $$ 其中$\hat{y}_i = \hat{\beta}_0 + \hat{\beta}_1 x_i$。此估计量是**有偏的**，通常修正为无偏估计： $$ s^2 = \frac{1}{n-2} \sum_{i=1}^n (y_i - \hat{y}_i)^2. $$ --- ### **5. 关键结论** - **参数估计**：在正态误差假设下，MLE给出的$\beta_0$和$\beta_1$估计与最小二乘法相同。 - **方差估计**：MLE的$\sigma^2$估计是有偏的，但可通过自由度修正为无偏。 --- ### **6. 推广到多元线性回归** 对于多元模型$y = X\beta + \epsilon$（$X$为设计矩阵，$\beta$为参数向量），MLE推导类似： - 对数似然函数为： $$ \ln L = -\frac{n}{2} \ln(2\pi) - \frac{n}{2} \ln(\sigma^2) - \frac{1}{2\sigma^2} (y - X\beta)^\top (y - X\beta). $$ - 参数估计结果为： $$ \hat{\beta} = (X^\top X)^{-1} X^\top y. $$ --- ### **总结** 线性回归的极大似然估计在正态误差假设下，提供了与最小二乘法一致的参数估计，并扩展了方差估计的理论基础。这一方法将统计模型与概率分布结合，为后续的假设检验和置信区间构建奠定了基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值