I(X,Y；Z),I(X；Y；Z)之间的区别

I(X;Y;Z)三方交互信息（或，三元互信息）

当有三个随机变量时他们之间各种熵和互信息之间关系如下图所示，可以看到中间那部分就是$I(X;Y;Z)$
$$\begin{gathered} I(X;Y;Z)=I(X;Y)-I(X;Y|Z) \\ I(X;Y;Z)=I(X;Z)-I(X;Z|Y) \\ I(X;Y;Z)=I(Y;Z)-I(Y;Z|X) \\ I(X;Y;Z)=H(X,Y,Z)-H(X)-H(Y)-H(Z)+I(X,Y)+I(Y,Z)+I(X,Z) \end{gathered}$$

I(X,Y;Z)联合互信息

$$\begin{gathered} I(X,Y;Z)=I(X;Z)+I(Y;Z|X) \\ =I(Y;Z)+I(X;Z|Y) \end{gathered}$$
这个互信息是将$X,Y$看做一个整体，然后求和$Z$之间的互信息

链式法则：

参考文献

1. Jakulin A. Machine learning based on attribute interactions[D]. Univerza v Ljubljani, 2005.