10、信息熵、散度及其非参数估计与自适应信息滤波

信息熵、散度及其非参数估计与自适应信息滤波

1. 信息势与交叉信息势的快速计算

在信息论学习（ITL）中，信息势（IP）、交叉信息势（CIP）以及相关的ITL量（如DED、DCS、QMIED和QMICS）的计算复杂度较高，分别为O(N²)或O(N³)。为了提高计算效率，可采用以下两种技术：

1.1 快速高斯变换（FGT）

• 原理 ：快速多极子方法是一类用于快速计算大型矩阵 - 向量乘积近似值的算法。快速高斯变换（FGT）是其特殊情况，用于高效计算一维高斯函数在某点的加权和：
  [S(y_i) = \sum_{j=1}^{N} w_j e^{-(y_j - y_i)^2 / 4\sigma^2}, i = 1, …, M]
• 优势 ：FGT已应用于多个领域，将计算复杂度从O(NM)降低到O(N + M)。其计算节省源于高斯函数的移位性质：
  [e^{-\left(\frac{y_j - y_i}{\sigma}\right)^2} = e^{-\left(\frac{y_j - y_C - (y_i - y_C)}{\sigma}\right)^2} = e^{-\left(\frac{y_j - y_c}{\sigma}\right)^2} \sum_{n=0}^{\infty} \frac{1}{n!} \left(\frac{y_i - y_c}{\sigma}\right)^n h_n \left(\frac{y_j - y_c}{\sigma}\right)]
  其中，Hermite多项式 (h_n(y)) 定义为 (h_n(y) =