exponential family distribution(指数族分布)

本文介绍了指数族分布的基础概念及其在伯努利分布中的应用。通过将伯努利分布转化为指数族分布的形式,揭示了二者之间的内在联系,并给出了logisticsigmoid函数的推导。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. exponential family

给定参数 η,关于 x 的指数族分布定义为如下的形式:

p(xη)=h(x)g(η)exp{ηTu(x)}

其中 x 可以为标量也可以为矢量,可以为离散也可是连续。其中 η 被称为分布的自然系数(natural parameters),

g(η)h(x)exp{ηTu(x)}dx=1

2. 以指数分布的眼光看其他分布

  • 伯努利分布(Bernoulli Distribution,也叫 0-1 分布):

    伯努利分布的基本形式为(其中 μ 为事件可能发生的概率,x 的取值为 0 或 1):

    p(xμ)=μx(1μ)1x

    我们将其化为指数分布的形式:

    p(xμ)=Bern(xμ)==eln(μx(1μ)1x)(1μ)exp{xln(μ1μ)}

    将其与指数族的基本形式相对照,现指定 η=ln(μ1μ),因此 μ 是关于 η 的函数,不妨设 μ=σ(η),则可得 :

    μ=σ(η)=11+eη

    这就是 logistic sigmoid 函数;

转载于:https://www.cnblogs.com/mtcnn/p/9422355.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值