17、信息理论在计算机视觉与模式识别中的应用：结构学习、聚类与熵估计

信息理论在计算机视觉与模式识别中的应用：结构学习、聚类与熵估计

1. 结构学习与MDL相关问题

在结构学习领域，有几个基于最小描述长度（MDL）的重要问题值得探讨。

• 多项分布的Fisher矩阵推导 ：对于多项分布，其参数为混合成分，这些成分需构成凸组合（总和为1）。需要解析推导此类分布的Fisher矩阵。
• α - 阶度量张量的计算 ：α - 阶度量张量是Fisher张量的一种替代。当α = 2时，可得到特定表达式。需要为高斯分布和多项分布分别求出该张量的解析表达式，并将所得张量与Fisher - Rao张量进行比较。
• 树模型的采样概率计算 ：假设有一个树模型Tc，包含一个根节点和两个子节点。根节点的概率为1，左子节点概率为0.75，右子节点概率为0.25（同一层级概率归一化）。按照独立伯努利模型，需要量化观察到所有可能子图（包括完整树）的概率。
• 树合并过程的MDL计算 ：根据树的MDL定义，计算算法应用于示例中所有步骤的采样概率和MDL，并计算算法每次迭代的MDL优势。
• MDL编辑距离的计算 ：计算示例中所有匹配（合并）的MDL编辑距离。
• 带权重树的MDL扩展 ：可以将纯结构框架扩展到属性框架，为节点分配属性。假设权重服从高斯分布，给定权重的概率定义为：
  [
  P_w(w|\mu_{c,i}, \sigma_{c,i}) =