概率统计与机器学习：独立同分布，极大似然估计，线性最小二乘回归

独立同分布

---

独立性

• 概念：事件A，B发生互不影响
• 公式：$P(XY)=P(X)P(Y)$ ， 即事件的概率等于各自事件概率的乘积
• 举例：
  
  • 正例：两个人同时向上抛硬币，两个硬币均为正面的概率
  • 反例：狮子在某地区出现的概率为X，老虎出现概率为Y，同时出现的概率并不满足$P(XY)=P(X)P(Y)$ ，因为老虎在的地方一般不会有狮子。

同分布

• 概念：随机变量（序列）在随机过程中有相同的概率分布

相关性

• 概念：反应随机变量之间相互影响的偏离程度，即协方差。但这里只讨论相关与无关，本质应该为“线性相关”，因此“不相关”本意指“线性不相关”。
• 公式：$Cov(x,y) = E(xy) - E(x)E(y) = 0$
• 定理：独立一定不相关，但不相关不一定独立
• 举例：
  
  • 不独立相关：
    
    • 图例：
    • 分析：为了简便理解我们假设有一个线性关系$y=x$，现在有N个随机变量分布在其中（想象还有第3维平面因此存在很多随机变量），先分析独立性：由于当x增大y也跟增大，x减小y跟着减小，因此不具备独立性；相关性：套用公式$Cov(x,y) = E(xy) - E(x)E(y)$，在这个线性function里$x=y$，因此 $E(xy)=\frac {1}{N}\sum_{i=1}^{N}x_{i}^{2}$ ， $E(x)E(y)=\frac {1}{N}\sum_{i=1}^{N}x_{i}*\frac {1}{N}\sum_{j=1}^{N}y_{j} = \frac {1}{N^{2}}\sum_{i=1}^{N}\sum_{j=1}^{N}x_{i}y_{j}$ ， 相减不为0因此他们线性相关。
  • 不独立不相关
    
    • 图例：
    • 分析：这个分布就四个点，讨论独立性：当$x=1->y=1||y=-1$ $x=-1->y=1||y=-1$ ， 很显然当知道x的值，y的值就已经被确定了，因为它们不独立。讨论相关性：引入定理，$E(xy)=\frac {1}{N}\sum_{i=1}^{N}x_{i}y_{i} = 0$ ， $E(x)E(y)=\frac {1}{2}\sum_{i=1}^{2}x_{i}*\frac {1}{2}\sum_{j=1}^{2}y_{j} = 0$（因为实际只有2组值），由此可得 $cov(x,y) = 0$，因此为不相关的。
  • 结论：判断独立性就看它的取值是否有联系，判断线性相关就看整体分布是否存在一个线性趋势。其中还有独立相关，不独立相关等以此类比即可。

极大似然估计

• 原理：给定一个概率分布$D$，已知其概率密度函数（连续分布）或概率质量函数（离散分布）为$f_{D}$，以及一个分布参数$\theta$，我们可以从这个分布中抽出一个具有 $n$ 个值的采样$X_{1},X_{2},...,X_{n}$，利用