21、神经网络设计的逻辑基础：ILU的优化与测试

神经网络设计的逻辑基础：ILU的优化与测试

1. 优化传输

在尝试优化信息逻辑单元（ILU）的信息传输时，我们实际上是要为其他观察者关于ILU输出的问题生成并呈现最佳断言。对于源ILU，在ILU能够通过测量向量 (X) 测量输入 (x) 的情况下，这种优化对应于相对于决策阈值 (\mu) 最大化 (b(Y|A))。

决策阈值 (\mu) 决定了对测量值 (X^Tx) 的响应答案，从而实现了问题 (Y)，因为问题本质上是由其可能的答案定义的。阈值 (\mu) 划分了ILU可以生成的可能断言的空间，同时形成了ILU的输出前提。

从定性角度看，最大化传输意味着对于固定的 (A)，在 (\mu) 上最大化 (b(Y|A))，且 (\mu) 除了为实值外没有其他内在约束。这就转化为求解以下方程：
[
\frac{\partial b(Y|A)}{\partial \mu} = 0
]
其中
[
b(Y|A) = \sum_{y} p(y|A) \ln \frac{1}{p(y|A)}
]

根据附录，输出断言 (y) 的边缘分布为：
[
p(y|A) = \sum_{x} p(x|A) p(y|x,A)
]

定义 (S_x) 为：
[
S_x = \sum_{x’} \exp[A^T x’]
]

则 (b(Y|A)) 可表示为：
[
b(Y|A) = \frac{1}{\ln 2} \sum_{y} \sum_{x} p(x|A) p(y|x,A) \ln \frac{1}{p(y|A