深入浅出概率论基础

概率论，那我们先来说说什么是概率

Probability:Probability is the measure of the likelihood that an will occur.
这里的event其实是指我们的统计实验（Statistic Ecperiment）的结果。
而我们的概率就是用来定量的衡量我们的实验结果出现的可能性的。用数学的角度看，我们的统计实验产生了一系列的样本点，由这些样本点组成了我们的样本空间，我们的event，可以看成是这些样本空间的真子集。那么我们的概率，则可以定义为从样本空间的真子集到实数集的映射。

$P:{2} ^ {\Omega} \rightarrow \mathbb{R}$

概率有以下特性:

1. $P(\varnothing)=0, P(\Omega)=1$
2. 可数可加性：
   $A_k\subset \Omega , A_i \cap A_j = \varnothing,(i \neq j)$
   $P(\bigcup A_k) = \sum{A_i}$

随机变量：is a variable whose value is subject to variations due to chance。

随机变量并不是随机的，概率论中的随机性只是体现在从统计实验产生样本点的过程中，而随机变量，他本质上是一个确定的，有样本空间映射到实数的函数，他要解决的是样本点的量化问题。

随机变量本身是不具有随机性的

样本空间 $\Omega = \{w_1,w_2...w_n...\}$
随机变量$X$为从$\Omega$到实数集$\mathbb{R}$的函数，记为：
$X ： \Omega \rightarrow \mathbb{R}$
我们常使用$P(X=x_k)=P_k$为随机变量$X$ 的概率分布。我们需要仔细看下这个符号的含义，概率P是定义在样本空间的子集上的，那么，$X=x_k$对应了一个什么样的样本空间子集呢？我们假设样本空间的子集$w_k$满足$P(\{w_k\}) = P_k$
$X=X_k$的含义是是在样本空间中寻找满足$P(\{w_k\}) = P_k$的样本点集合$w$，，该样本点集合对应的随机变量函数的值记为：
$P(X=x_k)=P({w:X(w)=X_k}) = P_k$

Discrote 离散随机变量

$\rm1.$布努力分布
用最简单的抛硬币为例，
样本空间 $\Omega=\{“正”，“反”\}$，随机变量为定义在{“正”，“反”}映射到{0，1}上的函数，其中$P(X=1) = p$, $P(X=0)=1-p$

$\rm1.$二项分布
已射击问题为例，打了n枪，每一枪命中的概率为p，n枪中有k枪命中的概率。
$X~B(n,p)$ $P(X=k)=\binom{n}{k}p^k(1-p)^{n-k}$, 这个概率的得出是在假设每一枪的射击事件是独立的前提的下得，然而现实中很明显每一枪的射击都是互相干扰的，独立性的判断，是概率论中最难的问题之一。我们都知道，如果事件A 和事件 B满足 $P(A\cap B)=P(A)*P(B)$,则两个事件相互独立。

$\rm3.$几何分布
已射击问题为例，表示从开始射击到第一次命中的概率
$P(X=k) = (1-p)^{k-1}*p$
几何分布有一个很重要的性质，无记忆性(Memoryless):
$P(X>n+k|x>k)=P(x>n)$
这里我们引出了一种新的概率，条件概率：
$P(A|B) = P(A \cap B)/P(B)$
条件概率是一类很特殊的概率，因为其样本空间不同于$P(A)$或者$P(B)$的样本空间，其样本空间缩小到事件B对应的样本空间的子集上，当且仅当 事件A和事件B相互独立时，$P(A|B) = P(A)$

对于几何分布
$P(X>k)=\sum_{i=k}^ \infty P(x=i)=\sum_{i=k}^ \infty (1-p)^{i-1}*p$

$\rm4.$泊松分布

$P(X=k)= \frac{ \lambda^k} {k!} exp(- \lambda)$
泊松分布是在二项分布在$n->\infty$,$p->0$，同时$np=\lambda$的极限。
证明：

泊松分布表示命中率极低同时尝试次数极多的射击过程，形象的说，泊松分布描述的是一个等待行为，同时，这在计算机中可以描述为一种网络行为，同时在排队论中也有重要的作用

至于为什么很多现象都服从泊松分布，不妨可以从二项分布的角度去考虑。
假如一个独立事件发生的概率是p，那么做n次独立实验，最后的结果服从二项分布（可以从抛硬币的问题中理解）
而在日常生活中，很多情况下都是独立事件，比如一段路口一天内发生车祸的概率p非常小，但如果你观察很多天，由于每两天之间的车流几乎是相互独立的，所以可以近似认为这个路口发生车祸的情况服从泊松分布。

泊松分布是指某段连续的时间内某件事情发生的次数，而且“某件事情”发生所用的时间是可以忽略的。例如，在五分钟内，电子元件遭受脉冲的次数，就服从于泊松分布。

假如你把“连续的时间”分割成无数小份，那么每个小份之间都是相互独立的。在每个很小的时间区间内，电子元件都有可能“遭受到脉冲”或者“没有遭受到脉冲”，这就可以被认为是一个p很小的二项分布。而因为“连续的时间”被分割成无穷多份，因此n(试验次数)很大。所以，泊松分布可以认为是二项分布的一种极限形式。

因为二项分布其实就是一个最最简单的“发生”与“不发生”的分布，它可以描述非常多的随机的自然界现象，因此其极限形式泊松分布自然也是非常有用的。（来源：https://www.zhihu.com/question/26441147/answer/82350992）

Continuous 连续随机变量

之前讨论的样本空间都是离散的一个个的样本点，当我们的样本空间$\Omega=\mathbb{R}$时，我们之前定义的单点的概率值$P({w})=0$