一些常见函数的有用性质

最新推荐文章于 2024-06-15 13:56:10 发布

原创最新推荐文章于 2024-06-15 13:56:10 发布 · 420 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#线性代数 #概率论 #算法 #机器学习 #深度学习

数学类专栏收录该内容

7 篇文章

订阅专栏

一些常见函数的有用性质

概述
logistic sigmoid
softplus函数

概述

本文档介绍在处理概率分布时常出现的函数及其性质。

logistic sigmoid

$\sigma(x)=\frac{1}{1+exp(-x)}$
logistic sigmoid 函数常用来产生Bernoulli分布的参数 $\phi$ ，因为它的范围是 $(0, 1)$ ，处在 $\phi$ 的有效取值范围内。sigmoid函数如下图：
sigmoid函数图像
从上图可以看出，sigmoid函数在变量取绝对值非常大的正数或负数时会出现饱和（saturate）现象，这意味着这个函数变得非常平且对输入的微小改变不明显。

softplus函数

$\zeta(x)=log(1+exp(x))$ softplus 函数可以用来产生正态分布的 $\beta$ 和 $\sigma$ 参数，因为它的范围是 $(0,\infin)$ ，也经常出现在处理包含sigmoid函数的表达式中。softplus函数是 $x^+=max(0,x)$ 的平滑形式。下图为softplus函数图形：
在这里插入图片描述
下面是一些重要的性质： $\sigma(x)=\frac{exp(x)}{exp(x)+exp(0)}\qquad①$ $\frac{d}{dx}\sigma(x)=\sigma(x)(1-\sigma(x))\qquad②$ $1-\sigma(x)=\sigma(-x)\qquad\qquad\quad③$ $log\thickspace \sigma(x)=-\zeta(-x)\qquad\qquad\quad④$ $\frac{d}{dx}\zeta(x)=\sigma(x)\qquad\qquad\qquad⑤$ $\forall x\in(0,1),\sigma^{-1}=log(\frac{x}{1-x})\qquad⑥$ $\forall x>0,\zeta^{-1}=log(exp(x)-1)\qquad⑦$ $\zeta(x)=\int^x_{-\infin}\sigma(y)dy\qquad⑧$ $\zeta(x)-\zeta(-x)=x\qquad⑨$ 函数 $\sigma^{-1}(x)$ 在统计学中被称为分对数（logit）。 $\zeta(x)$ 为正部函数 $x^+=max(0,x)$ 的平滑版本， $\zeta(-x)$ 为负部函数 $x^-=max(0,-x)$ 的平滑版本。
维护相关