Sonnet

定义：如果先验分布和似然函数可以使得先验分布和后验分布有相同的形式，那么就称先验分布与似然函数是共轭的。读数理统计学导论时，遇到过共轭先验的概念。 贝叶斯判别准则中，分别假设了先验分布p(θ)p(\theta)，后验分布p(θ|X)p(\theta|X)，以及p(X),p(X|θ)p(X), p(X|\theta)似然函数。贝叶斯定理可以写作：P(θ|X)=P(θ)P(X|θ)P(X)P(\the

据说很多数学系的同学觉得统计和概率论登不了数学宫殿的大雅之堂，遂轻视之。可是大数据时代，数据挖掘、机器学习、数据分析等新的知识领域不断开辟，而这一切都是离不开概率统计的发展，概率论与数理统计的发展极大影响了我们的生活，甚至可以说对于人工智能和机器学习方面的研究有奠基之功。我国大学本科开设的概率统计课程主要包括概率论、数理统计、测度论、应用回归分析、应用多元统计分析、应用时间序列分析、抽样调查、非参数

二十世纪九十年代中期，统计学习(Statistic Learning)的出现迅速占领了机器学习的舞台。其中代表的是支撑向量机以及更一般的核方法。 其中Vapink大牛提出的统计学习理论为统计学打下坚实的理论基础。李航老师提出的统计学系三要素即：模型+策略+算法。构建模型监督学习过程中，模型就是所要学习的条件概率分布或决策函数。魔性的假设空间包括所有可能的条件概率分布或决策函数。 这里假设决策函数

期望、方差、协方差及相关系数的基本运算总结了概率统计中期望、方差、协方差和相关系数的定义、性质和基本运算规则。

我们在接触具体的机器学习算法前，其实很有必要对优化问题进行一些介绍。 
随着学习的深入，笔者越来越发现最优化方法的重要性，学习和工作中遇到的大多问题都可以建模成一种最优化模型进行求解，比如我们现在学习的机器学习算法，大部分的机器学习算法的本质都是建立优化模型，通过最优化方法对目标函数（或损失函数）进行优化，从而训练出最好的模型。 最常见的最优化方法有梯度下降法、牛顿法和拟牛顿法、共轭梯度方向法等。

大学线性代数课程中我们学习了很多关于矩阵分解的方法，这些在概率统计、统计机器学习等方面都有很多应用。

广义线性模型(Generalized Linear Model)本文沿接接着上节的指数分布族,文章中注了引入指数分布族的概念是为了说明广义线性模型。概念广义线性模型（generalized linear model, GLM)是简单最小二乘回归（OLS)的扩展,在广义线性模式中，假设每个变量的观测值 Y来自某个指数族分布。 该分布的平均数μ\mu可由与该点独立的X解释： E(y)=μ=g(θTx)

指数分布族指数分布族是指可以表示为指数分布的概率分布。指数分布形式如下： P(y;η)=b(y)exp(ηTT(y)−α(η))P(y;η)=b(y)exp(ηTT(y)−α(η))P(y;\eta)=b(y)exp(\eta^{T}T(y)-\alpha(\eta)) 其中，ηη\eta成为分布的自然参数；T(y)是充分统计量，通常T(y)=yT(y)=yT(y)=y。当a、b、T参数都...