import numpy as npimport scipy.stats as st创建随机变量（rv：random variable）F_true = 1000N = 50F = st.poisson(F_true).rvs(N)也可以这样：mu_true, sigma_true = 1000, 15N = 100F_true = st.norm(mu_true, sigma_true)

联合概率、条件概率与边缘概率三者之间的关系。

概率空间不是简单的样本空间。1. 定义概率空间是概率论的基础。概率的严格定义基于这个概念。 概率空间 (Ω,F,P)(Ω, \mathcal F, P) 是一个总测度为1的测度空间（即 P(Ω)=1P(Ω)=1，Ω\Omega 表示的是样本空间）.

1. Z=X+YZ=X+Y 的分布设 (X,Y)(X,Y) 是二维连续型随机变量，它具有概率密度 f(x,y)f(x,y)，则 Z=X+YZ=X+Y 为连续型随机变量，其概率密度为：fX+Y(z)=∫∞−∞f(x,z−x)dxf_{X+Y}(z)=\int_{-\infty}^\infty f(x,z-x)dx或：fX+Y(z)=∫∞−∞f(z−y,y)dyf_{X+Y}(z)=\int_{-

特征函数和 cdf （cumulative distribution function，也叫分布函数）一样提供了另外一种描述随机变量的方法，φX(t)=E[eitX]\varphi_X(t) = \operatorname{E} \left [ e^{itX} \right ]和 cdf 一样，能够完整地确定随机变量概率分布的性质。

1. PDFgeneralized inverse Gaussian distribution (GIG) 是一个三参数的连续型概率分布：

Gamma 函数及其常见变形

gamma 函数与 exponential power distribution（指数幂分布）

1. 定义假设一串独立的伯努利实验（0-1，成功失败，伯努利实验），每次实验（trial）成功和失败的概率分别是 pp 和 1−p1-p。实验将会一直重复下去，直到实验失败了 rr 次。定义全部实验中成功的次数为随机变量 XX，则：X∼NB(r;p)2. PMF（概率质量函数）f(k;r,p)≡Pr(X=k)=(r+k−1k)p^k(1−p)^r

1. 建模对原始信号 XX 进行观测，观测可以抽象为（离散：{Y|X}(y|x), 连续：f_{Y|X}(y|x)），物理世界噪声的存在，将导致观测到的 XX 出现一定的噪声，记为 Y：X⇒fY|X(y|x)⇒YX ⇒ f_{Y|X}(y|x) ⇒ Y对于推断（inference）问题而言，我们更多的是考虑如何从 YY 获取原始的无噪信号 XX：Y⇒fX|Y

1.你的老师告诉大家下周有一个抽查考试，周一至周五任意一天的早上会告诉大家当天考试。周一：1/5周二：1/4（周一不发生，表示已然发生的事）周三：1/3（周一周二不发生）周四：1/2（周一周二周三不发生）周五：1（周一周二周三周四均不发生）也即虽然时间一天天地过去，以后的每一天发生的概率会越来越大；

联合概率：是指两个事件同时发生的概率。

1. Bayesian approach对于多项式拟合问题，我们可通过最小二乘（least squares）的方式计算得到模型的参数，最小二乘法又可视为最大似然（maximum likelihood）的一种特例，当模型选择过于复杂时，很容易在测试集上造成过拟合（over-fitting），因此，过拟合问题可被理解为最大似然普遍存在的一种性质。过拟合的问题可通过贝叶斯方法得以避免。

三个事件 A、B、C 相互独立？三个事件两两独立？A：第一次正面朝上； B：第二次正面朝上； C：第一次和第二次结果不同；P(AB)=P(A)P(B)P(AB)=P(A)P(B)； P(AC)=1/4=P(A)P(C)P(AC)=1/4=P(A)P(C)（不是靠理解想象，而是靠计算） 而显然 P(ABC)=0P(ABC)=0

1. exponential family2. 以指数族分布的眼光看其他分布；

注意和 F-test 作区分，F-test 用于显著性测试（significance test）。在二分类（binary classification，当然也可从多分类任务轻松转换为二分类问题，One-vs.-rest）问题的统计分析中，F1 score。

已知 D 维向量 x，其高斯概率分布为：N(x|μ,Σ)

1. 一种 measurement信息论中，perplexity is a measurement of how well a probability distribution or probability model predicts a sample. 其越低，越能代表概率分布能更好地预测样本。离散型概率分布 pp 的 perplexity 被定义为：

多元高斯分布的边缘概率和条件概率。

1. PMF（Probability Matrix Factorization）某矩阵 RR 可分解为两个低维矩阵的乘积 R=UTVR=U^TV，由于系统噪音存在，不可能做出这样的完美分解，另外 R 包含很多未知元素。所以问题转化为： 对一个近似矩阵进行分解R^=UTV要求近似矩阵 R^\hat R 在观测到的评分部分和观测矩阵 R 尽量相似 为了防止过拟合，需要对

基本形式 P(θ|D)=P(θ)P(D|θ)P(D)P(\theta|\mathcal{D})=\frac{P(\theta)P(\mathcal{D}|\theta)}{P(\mathcal{D})}P(θ|D)P(\theta|\mathcal{D})：后验概率，posteriorP(θ)P(\theta)：先验概率，priorP(θ|D)P(\theta|\mathcal{D})：似

0. error functionerf(x)=1π−−√∫x−xe−t2dterf(x)=1π∫−xxe−t2dt\text{erf}(x)=\frac{1}{\sqrt\pi}\int_{-x}^{x}e^{-t^2}dtpython 下的 math 标准库定义着 erf 的实现。1. 从 error function 到标准正态分布 cdf 的实现标准正态分布的累积分布函...

MAD 定义为，一元序列 XiXiX_i 同其中位数偏差的绝对值的中位数（deviation，偏差本身有正有负）；MAD=median(|Xi−median(X)|)MAD=median(|Xi−median(X)|)\text{MAD=median}\left(|X_i-\text{median(X)}|\right)1. MAD 用于异常点的检测假定数据服从正态分布，我们让...

0. 标准正态分布表与常用值 Z-score 是非标准正态分布标准化后的 x即 z=x−μσz=x−μσz = \frac{x-\mu}{\sigma}表头的横向表示小数点后第二位，表头的纵向则为整数部分以及小数点后第一位；两者联合作为完整的 x，坐标轴的横轴表中的值为图中红色区域的面积，也即 cdf，连续分布的累积概率函数，记为 Φ(x)Φ(x)\Phi(x)cdf 的逆，...

scipy 中统计相关的 api：https://docs.scipy.org/doc/scipy/reference/stats.htmlhttps://zhuanlan.zhihu.com/p/24635014https://blog.youkuaiyun.com/lanchunhui/article/details/523283801. t 检验：两个分布的差异 多维数据集的每一个属...

1. 0-1 分布（伯努利分布）0-1分布又名两点分布，或叫伯努利分布。 2. 二项分布（n 重伯努利分布）二项分布又名 n 重伯努利分布，

切比雪夫不等式衡量的是随机变量不能离开期望的概率；

1. 似然函数基本定义令 X1,X2,…,XnX_1, X_2, \ldots, X_n 为联合密度函数 f(X1,X2,…,Xn|θ)f(X_1, X_2, \ldots, X_n|\theta)，给定观测值 X1=x1,X2=x2,…,Xn=xnX_1=x_1, X_2=x_2, \ldots, X_n=x_n，关于 θ\theta 的似然函数（likelihood function） 定义如下

随机事件（简称为事件）、概率和随机变量是概率论中最基本的三个概念，它们是逐步形成与完善起来的。其中事件和随机变量这两个概念与不可测集的关系十分密切。随机事件是样本空间 Ω\Omega（由所有样本点或基本事件组成的集合）的子集，但是样本空间的子集却未必是随机事件。如果样本空间 Ω\Omega 的样本点只有可数（可列）多个，那么 Ω\Omega 中的任何一个子集都可测；如果 Ω\Omega 中的样本

Gamma 分布Gamma函数可将许多数学概念从整数集延拓到实数集合。Γ(x)=∫ ∞ 0 t x e −t dt \Gamma(x)=\int_0^\infty t^xe^{-t}dt 我们来看对Beta分布的改造： f(x)==== n(n−1k−1)x k−1 (1−x) n−k n(n−1)!(k−1)!(n−k)! x k−1 (1−x) n−k n!(k−1)!(n−k)! x

从随机变量到顺序统计量考虑如下的游戏：有一个魔盒（随机数生成器），上有一个按钮，每按一下按钮，就均匀地输出一个 U∼[0,1]U\sim[0,1]之间的随机数，现在按上下，得到10个随机数，第7大的数是多少？我更进一步发问，第7大的数，要求猜测不超过0.01才算对。对上面的游戏作如下的数学抽象：X1,X2,⋯,Xn∼iidU(0,1)X_1,X_2,\cdots,X_n \sim^{iid} U

1. 方差的有偏估计（biased estimation）How to understand that MLE of Variance is biased in a Gaussian distribution?2. 均值的有偏估计（biased estimation）Is there an example where MLE produces a biased estimate of the mea

1. 分位数定义 分位数还是序列中的数，只不过序列要首先进行排序；quantile initially assigns the sorted values in X to the (0.5/n), (1.5/n), …, ([n – 0.5]/n) quantiles. For example: ((1:n)-.5)/nn 表示序列的长度；For a data vector of si

1. 定义若连续型随机变量 XX 的概率密度为：f(x)=⎧⎩⎨1θe−x/θ,0,x>0其他f(x)=\left\{\begin{array}{ll}\frac1\theta e^{-x/\theta},&x\gt 0\\0,& 其他\end{array}\right. 其中 θ>0\theta \gt 0 位常数，则称 XX 服从参数为 θ\theta 的指数分布。当 θ\the

1. 方差连续型离散型2. 样本方差3. 协方差

1. 定义∀xi∈dom(X),yj∈dom(Y),yk∈dom(Y)\，如果满足，P(X=xi|Y=yj)==P(X=xi|Y=yk)P(X=Xi)

1. Bayesian statistics一组独立同分布的数据集

首先来看一个简单证明，A,BA,B 关于事件 CC 条件独立，证明，

1. 样本（sample）与总体（population）样本均值、总体均值

方差分析，也称为“变异数分析”，用于两个及两个以上样本均值（group means）差别的显著性检验。在 ANOVA 的环境下，一个观测得到的方差视为是由不同方差的源组合而成。