信息熵韦恩图中的数学关系

背景

    其日,阅文献,偶逢“马尔可夫链”,心起乐,遂取纸笔以证之。追思寻至数时,未果,以头痛罢。其后,偶得一奇法,遂疾书之。愿诸君闲暇之余,阅之以遣时,不是处多指正。

马尔科夫模型

    马尔科夫模型具体形式以链接形式给出,这里拿来引出问题。链接:马尔可夫模型。这里要介绍一个叫马尔可夫链的东东,它是一个多维条件随机变量的概率展开式①: p ( Y 1 Y 2 … Y n ∣ X 1 X 2 … X n ) = p ( Y 1 ∣ X 1 ) ∗ p ( Y 2 ∣ X 2 ) ∗ … p ( Y n ∣ X n ) ① p(Y_1Y_2\dots Y_n|X_1X_2\dots X_n)=p(Y_1|X_1)*p(Y_2|X_2)*\dots p(Y_n|X_n) ① p(Y1Y2YnX1X2Xn)=p(Y1X1)p(Y2X2)p(YnXn)其中, X 1 、 X 2 、 … X n X_1、X_2、\dots X_n X1X2Xn为输入序列, Y 1 、 Y 2 、 … Y n Y_1、Y_2、\dots Y_n Y1Y2Yn为输出序列。假如输入序列当前值为 X m X_m Xm,则 X m − 1 、 X m − 1 、 … X 1 X_{m-1}、X_{m-1}、\dots X_{1} Xm1Xm1X1会对当前值产生影响。但马尔可夫提出如下两个条件,使得上述马尔科夫链成立:

  1. 只有上一个输入序列会对当前序列有影响,即式②: p ( X m ∣ X m − 1 X m − 2 … X 1 ) = p ( X m ∣ X m − 1 ) ② p(X_m|X_{m-1}X_{m-2}\dots X_1)=p(X_m|X_{m-1})② p(XmXm1Xm2X1)=p(XmXm1)
  2. 输出序列当前值只与输入序列当前值有关。

一个疑惑

    根据上述两个条件,我开始对①进行了数学推导,但我遇到了疑惑:根据条件二, Y m Y_m Ym只与 X m X_m Xm有关,而 X m X_m Xm X m − 1 X_{m-1} Xm1有关,那么 Y m Y_m Ym X m − 1 X_{m-1} Xm1是否能够相互独立,我没有办法解决。于是我开始思考另一个问题,倘若有三个随机变量 X 、 Y 、 Z X、Y、Z XYZ,其中 X X X Y Y

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值