35、纳米维度中的信息度量：原理、应用与决策树设计

纳米维度中的信息度量：原理、应用与决策树设计

多值函数中的信息理论度量

在多值函数的研究中，信息理论度量有着重要的应用。这些度量主要聚焦于S、pD和nD展开以及基于熵和信息的决策树设计。

对于m值函数，在计算信息理论特征时，会使用以m为底的对数。例如，对于三值函数使用log₃，四值函数使用log₄等。下面通过一个例子来说明如何根据真值表计算函数的信息理论特征。

示例：计算四值函数的熵、条件熵和互信息

给定一个四值函数f的真值列向量[0000 0231 0213 0321]ᵀ，我们可以计算其相关的信息理论度量。

首先，我们来看S展开的信息表示。对于S展开，函数f关于变量x的条件熵HS(f|x)等于H(f|x)，即：
HS(f|x) = H(f|x) (12.15)

接着是pD和nD展开的信息表示。有一个关键定理，对于完全指定的四值函数f，(x, pD)、(x, nD′)与(x, S)所携带的信息差异如下：
△IpD = 1/4 ·(H(f|x=1) −H(f1) + H(f|x=2) −H(f2) + H(f|x=3) −H(f3)) (12.16)
△InD′ = 1/4 ·(H(f|x=0) −H(f0) + H(f|x=2) −H(f2) + H(f|x=3) −H(f3)) (12.17)

证明过程如下：由于HS(f|x) = H(f|x)且IS(f; x) = I(f; x)，对于S展开，有I(f; x) = H(f)−H(f|x)。信息优点可表示为Iω(f; x) = IS(f; x) + △Iω。考虑到完全指定的四值函数中p|x̸=0 = 3/4，可通过以