40、神经网络中的神经流形与Fisher度量

神经网络中的神经流形与Fisher度量

1. Fisher度量的独特性

在所有可定义在统计流形上的黎曼度量中，Fisher度量具有显著的独特性。它具备以下两个重要性质：
- 重参数化不变性 ：对于统计流形(S = {p(x; θ); θ ∈Θ})和(\tilde{S} = {p(h(x); θ); θ ∈Θ})（其中(h)是可逆且可微的函数），它们具有相等的度量，即(g_{ij}(θ) = \tilde{g} {ij}(θ))。
- 重参数化协变性 ：若考虑依赖于(θ)的不同参数化(ξ_j = ξ(θ_1, \ldots, θ_N))，两种参数化下的Fisher矩阵满足关系(g {ij}(θ) = \sum_{k,r} g_{kr}(ξ)|_{ξ=ξ(θ)} \frac{\partial ξ_k}{\partial θ_i} \frac{\partial ξ_r}{\partial θ_j})。

Fisher度量的特别之处在于，它是唯一满足上述两个不变性条件的度量。

2. Cramér - Rao不等式

存在不等式 (14.2.5) 的多变量版本。设向量参数(θ = (θ_1, \ldots, θ_N)^T ∈R^N)表示参数空间((Θ, g))的一个坐标系，考虑无偏估计量(\hat{θ}(X) = (\hat{θ} 1(X), \ldots, \hat{θ}_N(X))^T)（即(E[\hat{θ}(X)] = θ)），则有(Cov(\hat{θ}(X)) \geq g(θ)^{-1})。这意味着差矩阵(A {ij}