定义2.1
一个离散的随机变量,比方说,由有限集合
和定义在
上的概率分布组成。我们用
表示随机变量
取
时的概率。如果随机变量是固定的,我们有时缩写成
。对任意的
,有
,并且
![\sum_{x\in{\mathfrak{X}}}{}Pr[x]=1](https://i-blog.csdnimg.cn/blog_migrate/a2b9e44d17bcd98c1ae8a9c99de77385.png)
定理2.1(Bayes定理)
由
![Pr[x,y]=Pr[x|y]Pr[y]](https://i-blog.csdnimg.cn/blog_migrate/a4af3f8d3b23161c59bbb19238e26479.png)
![Pr[x,y]=Pr[y|x]Pr[x]](https://i-blog.csdnimg.cn/blog_migrate/7adcf00cb77ff037b11b99a70f671a06.png)
得,如果,那么
![Pr[x|y]=\frac{Pr[x]Pr[y|x]}{Pr[y]}](https://i-blog.csdnimg.cn/blog_migrate/39be4486517f8128c12dd4894340a0ca.png)
推论2.2
X和Y是统计独立的随机变量,当且仅当对所有的和
,有
![Pr[x|y]=Pr[x]](https://i-blog.csdnimg.cn/blog_migrate/d48c0375862807bf6753d25f451b89df.png)
证明:
定义2.3
一个密码体制具有完善保密性,即,如果对于任意的 和
,有
。也就是说,给定密文y,明文x的后验概率等于明文x的先验概率。
定义2.4
假设随机变量X在有限集合上取值,则随机变量X的熵的定义为:
![H(X)=-\sum_{x\in X}^{}{Pr[x] \log_2 Pr[x]}](https://i-blog.csdnimg.cn/blog_migrate/ec728798891f3f03f0ba620ab687b76c.png)
如果|X|=n并且对于所有的,Pr[x]=1/n,那么
。同样,容易知道对于任意的随机变量X,
。H(X)=0当且仅当对于某一个
,
,对于所有的
,
。
定理2.4
假设密码体制满足
。这个密码体制是完善保密的,当且仅当每个密钥被使用的概率都是
,并且对于任意的
和
,存在唯一的密钥
使得
。
定理2.5(Jensen不等式)
假设是区间
上的连续的严格的凸函数,
,其中
。那么

其中 。当且仅当
,等号成立。
定理2.6
假设是一个随机变量,概率分布为
,其中
。那么
,当且仅当
时等号成立。
定义2.6
假设X和Y是两个随机变量。对于Y的任何固定值y,得到一个X上的(条件)概率分布;记相应的随机变量为X|y。显然,
![H(X|y)=-\sum_x{Pr[x|y] \log_2 {Pr[x|y]}}](https://i-blog.csdnimg.cn/blog_migrate/7d464218844b736dc7698f36773d476f.png)
定义条件熵为熵
取遍所有的y的加权平均值:
![H(X|Y)=-\sum_y \sum_x{Pr[y] Pr[x|y] \log_2 {Pr[x|y]}}](https://i-blog.csdnimg.cn/blog_migrate/698bafb249f4ae94e2763d1e86aaae57.png%3D-%5Csum_y%20%5Csum_x%7BPr%5By%5D%20Pr%5Bx%7Cy%5D%20%5Clog_2%20%7BPr%5Bx%7Cy%5D%7D%7D%0A)
定理2.7
,当且仅当X和Y统计独立时等号成立。
定理2.8
推论2.9
由定理2.7和定理2.8可得,

当且仅当X和Y统计独立时,等号成立。