16、概率与统计概念及相关练习解析

概率与统计概念及相关练习解析

1. 互信息与不确定性

互信息可以被看作是由于得知变量 (y) 的值而使变量 (x) 的不确定性减少的量（反之亦然）。从贝叶斯的角度来看，(p(x)) 可视为 (x) 的先验分布，而 (p(x|y)) 则是在观察到新数据 (y) 后的后验分布。因此，互信息代表了由于新的观察 (y) 而导致的关于 (x) 的不确定性的减少。

2. 练习题解析

2.1 最小化误差函数的系数

考虑由多项式 (y(x, w)) 给出的函数，要使误差函数最小化的系数 (w = {w_i}) 是以下线性方程组的解：
[
\sum_{j=0}^{M} A_{ij}w_j = T_i
]
其中
[
A_{ij} = \sum_{n=1}^{N} (x_n)^{i + j}, \quad T_i = \sum_{n=1}^{N} (x_n)^i t_n
]

2.2 正则化误差函数的线性方程组

对于正则化的误差函数，写出与上述类似的耦合线性方程组，该方程组由使正则化误差函数最小化的系数 (w_i) 满足。

2.3 水果选择的概率问题

假设有三个彩色盒子：红色盒子 (r)、蓝色盒子 (b) 和绿色盒子 (g)。各盒子内水果数量如下：
| 盒子 | 苹果 | 橙子 | 酸橙 |
| ---- | ---- | ---- | ---- |
| (r) | 3 | 4 | 3 |
| (b) | 1 | 1 | 0 |
| (g) | 3 | 3 | 4 | <