KL散度与率失真优化问题

学习的路径

从Joint Neural Phase Retrieval and Compression for Energy- and Computation-Efficient Holography on the Edge论文开始，看到其开源代码时，注意到Hyperprior模型，不是特别理解，于是溯源到VARIATIONAL IMAGE COMPRESSION WITH A SCALE HYPERPRIOR文章中来，在看文章的途中遇到的各种问题，于是有了这篇文章，当然我并没有看到这篇文献，现在只是先把我看到的总结起来。

信息论与编码的基本知识

• 信息量（不确定度）、熵（平均信息量）、条件信息量
  信息量与不确定度大小相同，事件发生后不确定度的减少量与事件发生提供的信息量相同，通过公式$-\text{log}P(x)$来表示，其中x为某个事件，随机事件/随机变量$X$的熵即为信息量的期望值 H ( X ) = − ∑ x ∈ { x 1 , x 2 , ⋯   } P ( x ) ⋅ log P ( x ) H(X)=-\sum_{x \in \{x_1, x_2, \cdots\}}P(x)\cdot \text{log}P(x) H(X)=−∑x∈{ x1​,x2​,⋯}​P(x)⋅logP(x).

  条件信息量$I(x|y)=-\text{log}P(x|y)$，条件熵$H(X|y_{}$