- probabilistic & estimation:常用分布,共轭特性,最大似然估计,最大后验估计,指数族和自然参数
- statistic properties:辅助机器学习算法证明,包括重要的切比雪夫不等式和马尔科夫不等式
1. 概率&估计-Probabilistic & Estimation
1.1 高斯分布与高阶矩
1-D高斯情况:
k-D高斯情况:
多元高斯函数的一阶矩(Fisrt Order Moment)-期望:
多元高斯函数的二阶矩(Second Order Moment) :
现在,改变轴使得向量x-μ特征向量对齐: