mianmami的博客

信息论基础知识信息自信息联合自信息条件信息互信息熵信息熵条件熵联合熵交叉熵KL散度/相对熵 信息 自信息 如果一句话发生的概率很大，那么它蕴含的信息就越少。例如：A知道B很有可能来，然后C对A说了一句：B很有可能来，这个是没有多大的意义的。但是，如果C对A说，不知道B会不会来，则这句话带来的信息量是比较高的。如果要用数学公式来衡量信息，它需要满足一下的条件： 非负性 这个函数得是单调递减函数：事情发生的概率越大，则蕴含的不确定性就越小，则信息量就越小。 当事情发生的概率是1时，信息量为0，当事情发生的概率

f(x)是区间上的实值连续严格上凸函数，任意一组x1,x2,…xq, λ1,λ2,...λq,∑λk=1\lambda_1, \lambda_2,...\lambda_q, \sum\lambda_k=1λ1​,λ2​,...λq​,∑λk​=1，则有Jesen不等式如下： f[∑k=1qλkxx]⩾∑k=1qλkf(xk) f[\sum_{k=1}^q\lambda_kx_x] \geqslant\sum_{k=1}^q{\lambda_kf(x_k)} f[k=1∑q​λk​xx​]⩾k=1∑q​λ.