机器学习|联合分布和边缘分布（一维、二维随机变量）|10mins入门|概统学习笔记（二）

联合分布和边缘分布

• 一维随机变量X与二维随机变量（X，Y）（及以上）比较

  • 二维离散型随机变量（X，Y）， 联合分布

    • X和Y的联合概率函数为
      $$P(X=x_i,Y=y_j)=p_{ij}i,j=1,2,...$$

      $$\{\begin{array}{l}{p}_{ij}\ge 0,i,j=1,2,...\\ {\sum }_i{\sum }_j{p}_{ij}=1\end{array}$$

  • 二维连续型随机变量（X，Y）

    • X和Y的联合密度函数
      P{(x,y)∈A}=∬Af(x,y)dxdyA⊂R2,f(x,y)≥0∫−∞∞∫−∞∞f(x,y)dxdy=1 P\{(x,y)\in A\}=\iint_A f(x,y)dxdy \quad \quad A \subset R_2,f(x,y)\geq 0 \\ \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f(x,y)dxdy=1 P{(x,y)∈A}=∬A​f(x,y)dxdyA⊂R2​,f(x,y)≥0∫−∞∞​∫−∞∞​f(x,y)dxdy=1

  • 二维随机变量(X,Y)里和X和Y的联合分布函数
    $$F(x,y)=P(X\le x,Y\le y)-\infty <x,y<\infty$$

  • 一维离散型随机变量X

    • X的概率函数
      $$\begin{gathered} P(X=x_k)=p_k,k=1,2,... \\ \{\begin{array}{l}{p}_k\ge 0,k=1,2,...\\ {\sum }_k{p}_k=1\end{array} \end{gathered}$$

  • 一维连续型随机变量X

    • X的密度函数

  P{a≤X≤b}=∫abf(x)dxf(x)≥0∫−∞∞f(x)dx=1 P\{a\leq X \leq b\}=\int_a^bf(x)dx \quad f(x) \geq0 \\ \int_{-\infty}^{\infty}f(x)dx = 1 P{a≤X≤b}=∫ab​f(x)dxf(x)≥0∫−∞∞​f(x)dx=1

  • 一维随机变量X的分布函数
    $$F(x)=P(X\le x)-\infty <x<\infty$$

• 联合分布与边缘分布的关系

  由联合分布可以确定边缘分布，但由边缘分布一般不能确定联合分布

  • 一般，对二维离散型随机变量（X，Y）

    X和Y的联合概率函数为：
    $$P(X=x,Y=y_i)=p_{ij},i,j=1,2,...$$
    则（X，Y）关于X的边缘概率函数为：
    $$P(X=x_i)=p_i=\sum _j{p}_{ij},i=1,2,...$$
    则（X，Y）关于Y的边缘概率函数为：
    $$P(Y=y_j)=p_j=\sum _i{p}_{ij},j=1,2,...$$
    

• 对二维连续型随机变量（X，Y）

  X和Y的联合概率密度为：
  $$f(x,y)$$
  则（X，Y）关于X的边缘概率函数为：
  $$f_X(x)={\int }_{-\infty }^{\infty }f(x,y)dy$$
  （X，Y）关于Y的边缘概率函数为：
  $$f_Y(y)={\int }_{-\infty }^{\infty }f(x,y)dx$$

• 对二维随机变量（X，Y）

  X和Y的联合分布函数为
  $$F(x,y)$$
  则（X，Y）关于X的边缘分布函数为
  $$F_X(x)=li{m}_{y\to \infty }F(x,y)$$
  （X，Y）关于Y的边缘分布函数为
  $$F_Y(y)=li{m}_{x\to \infty }F(x,y)$$
  不难看出，对二维连续型随机变量（X，Y），其概率密度与分布函数的关系如下：
  $$f(x,y)=\frac{{\partial }^{2}F(x,y)}{\partial x\partial y}$$
  在$f(x,y)$的连续点
  $$F(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}f(u,v)dudv$$