6、随机变量变换与信息论基础

随机变量变换与信息论基础

1. 随机变量的变换

在处理随机变量时，我们常常会对一组随机变量进行变换。假设有一组 $n$ 个连续随机变量 ${X_1, X_2, \cdots, X_n}$，将它们的值排列成向量 $\mathbf{x} \in \mathbb{R}^n$，其联合分布（概率密度函数）可表示为 $p(\mathbf{x})$。我们可以通过一些变换将其转换为另一组 $n$ 个连续随机变量：
[
\begin{cases}
Y_1 = f_1(X_1, X_2, \cdots, X_n) \
Y_2 = f_2(X_1, X_2, \cdots, X_n) \
\cdots \
Y_n = f_n(X_1, X_2, \cdots, X_n)
\end{cases}
]
同样地，将新随机变量 ${Y_1, Y_2, \cdots, Y_n}$ 的值排列成向量 $\mathbf{y} \in \mathbb{R}^n$，并将变换表示为一个向量值的多元函数 $\mathbf{y} = f(\mathbf{x})$。如果这个函数连续可微且可逆，其反函数可表示为 $\mathbf{x} = f^{-1}(\mathbf{y})$。在这种条件下，我们可以方便地推导出新随机变量的联合分布 $p(\mathbf{y})$。

首先，我们需要为反变换 $\mathbf{x} = f^{-1}(\mathbf{y})$ 定义雅可比矩阵：
[
J(\mathbf{y}) = \begin{bmatrix}
\frac{\partial x_1}{\partial y_1} & \frac{