3、随机变量函数、线性回归与通用估计理论

随机变量函数、线性回归与通用估计理论

1. 随机变量函数

1.1 理论推导与近似方法

在某些情况下，我们可以从理论上推导出随机变量函数的概率密度，例如变量之和的情况。不过，对于随机变量的非线性函数分布，虽然有时能精确确定，但计算上往往不太理想，尽管结果是最准确的。而对于随机变量非线性函数的均值和方差期望，使用泰勒展开进行近似会容易得多。

1.2 单随机变量的泰勒展开

对于单个随机变量 (X)，函数 (g(X)) 的泰勒展开式为：
[g(X) \approx g(\mu_X) + \frac{\partial g}{\partial X}| {X = \mu_X}(X - \mu_X) + \frac{1}{2}\frac{\partial^2 g}{\partial X^2}| {X = \mu_X}(X - \mu_X)^2]
由此可以得到均值的渐近近似：
[E[g(X)] \approx g(\mu_X) + \frac{1}{2}\frac{\partial^2 g}{\partial X^2}| {X = \mu_X}\sigma_X^2]
方差的近似公式为：
[var[g(X)] \approx \left(\frac{\partial g}{\partial X}| {X = \mu_X}\right)^2\sigma_X^2]
例如，对于线性关系 (g(X) = aX)，其方差为 (a^2\sigma_X^2)。

1.3 双随机变量的泰勒展开

对于两个随机变量 (X) 和 (Y)，函数 (g(