Sonnet

大学线性代数课程中我们学习了很多关于矩阵分解的方法，这些在概率统计、统计机器学习等方面都有很多应用。

通俗来讲，SVM是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。SVM主要是用来做分类工作，诸如文本分类，图像分类，生物序列分析和生 物数据挖掘， 手写字符识别等领域独有广泛应用。

针对特殊约束条件下的优化问题，有着不同类别适应不同条件的求解算法。包括梯度法、求解线性等式约束问题的投影梯度法、适用于含有等式约束规划和含有不等式规划的拉格朗日乘子法、针对不等式约束的KKT条件法、罚函数法等。等式约束问题设目标函数为f(x)，约束条件为hk(x)h_k(x)，形如 minf(x)s.t.hk(x)=0k=1,2,⋯kmin \quad f(x) \\ s.t. \

指数分布族指数分布族是指可以表示为指数分布的概率分布。指数分布形式如下： P(y;η)=b(y)exp(ηTT(y)−α(η))P(y;η)=b(y)exp(ηTT(y)−α(η))P(y;\eta)=b(y)exp(\eta^{T}T(y)-\alpha(\eta)) 其中，ηη\eta成为分布的自然参数；T(y)是充分统计量，通常T(y)=yT(y)=yT(y)=y。当a、b、T参数都...