7、概率理论、线性代数与监督学习基础

概率理论、线性代数与监督学习基础

1. 概率理论基础

1.1 联合概率分布与边缘概率密度函数

在概率理论中，联合概率分布描述了多个随机变量同时出现的概率情况。对于两个连续随机变量 (X) 和 (Y)，其联合概率密度函数 (f_{XY}(x, y)) 可以用来计算边缘概率密度函数。边缘概率密度函数 (f_X(x)) 和 (f_Y(y)) 的计算公式如下：
[f_X(x) = \int_{y\in R_Y} f_{XY}(x, y)dy]
[f_Y(y) = \int_{x\in R_X} f_{XY}(x, y)dx]

例如，对于联合概率密度函数 (f_{XY}(x, y) = x + 2y^3)（(0\leq x\leq1)，(0\leq y\leq1)），我们可以计算出 (X) 和 (Y) 的边缘概率密度函数：
- (f_X(x) = \int_{0}^{1} (x + 2y^3)dy = x + \frac{1}{2})（(0\leq x\leq1)）
- (f_Y(y) = \int_{0}^{1} (x + 2y^3)dx = \frac{1}{2} + 2y^3)（(0\leq y\leq1)）

从这个例子可以看出，当 (f_{XY}(x, y) \neq f_X(x)f_Y(y)) 时，随机变量 (X) 和 (Y) 是不独立的。

1.2 协方差与相关性

1.2.1 协方差

协方差是衡量两个随机变量之间线性关系的一个重要参数。对于两个随机变量 (X) 和 (Y)，其协方差的定义为：
[cov[X, Y] = E_{XY}[(X -