概率之常用函数

最新推荐文章于 2024-07-17 22:06:45 发布

AJR_LY

最新推荐文章于 2024-07-17 22:06:45 发布

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/u012119316/article/details/97293297

深度学习专栏收录该内容

7 篇文章

订阅专栏

本文探讨了深度学习模型中关键的概率分布处理函数，如logisticsigmoid和softplus，它们分别用于生成Bernoulli和正态分布参数。此外，文章还介绍了贝叶斯规则在条件概率计算中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

某些函数在处理概率分布时经常会出现，尤其是深度学习的模型中用到的概率分布。

logistic sigmoid函数：

$\small \sigma (x) = \frac{1}{1 + exp(-x)}$

通常用来产生Bernoulli分布中的参数 $\phi$ 。

softplus函数：

$\zeta (x) = log(1 + exp(x))$

可以用来产生正态分布的 $\beta$ 和 $\alpha$ 参数，因为它的值域是 $(0, \infty)$

以上两个函数的重要性质：

$\sigma(x) = \frac{exp(x)}{exp(x) + exp(0)}$

$\frac{d}{dx}\sigma(x) = \sigma(x)(1 - \sigma(x))$

$1 - \sigma(x) = \sigma(-x)$

$log \sigma(x) = - \zeta(-x)$

$\frac{d}{dx}\zeta(x) = \sigma(x)$

$\forall x \in (0, 1), \sigma^{-1}(x) = log(\frac{x}{1-x})$

$\forall x > 0, \zeta^{-1}(x) = log(exp(x) - 1)$

$\zeta(x) = \int_{-\infty}^{x} \sigma(y) dy$

$\zeta(x) - \zeta(-x) = x$

函数 $\sigma^{-1}(x)$ 在统计学中被称为分队数(logit)，但是这个函数在机器学习中很少用到。

贝叶斯规则(由条件概率的定义推导得出，以牧师Thomas Bayes的名字命名)

如果需要在已知P(y | x)时计算P(x | y)。如果还知道P(x)，则可以利用贝叶斯规则(Bayes' rule)来实现这一目的：

$P(x | y) = \frac{P(x)P(y|x)}{P(y)}$

P(y)则可以通过以下公式计算，所以我们并不需要事先知道P(y)的信息。

$P(y) = \sum_xP(y | x)P(x)$

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。