村头陶员外的博客

本篇博文将详细总结机器学习里面一个非常重要但又非常难以理解的一个算法模型SVM。SVM我之前一直没有弄的很明白，在总结本篇博文时，一定要将其弄得清清楚楚。将沿着以下几个主题来进行总结：线性可分支持向量机 硬间隔最大化hard margin maximization 硬间隔支持向量机 线性支持向量机 软间隔最大化soft margin maximization 软间隔支持向量机 非线

本篇博文主要总结线性回归，线性回归虽然简单，但是却是很重要，我将沿着以下几个主题总结最小二乘法使用极大似然估计来解释最小二乘的解析式的求解过程线性回归的复杂度惩罚因子（LASSO，Ridge）梯度下降法实战最小二乘法线性回归,线性是指回归方程在空间中表现为直线形式,其决策边界是线性的.回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，基

本篇博文来总结一下回归模型里面两个非常重要的模型。logistic回归softMAX回归Logistic回归logistics回归虽然有“回归”两字但是却是分类模型，并且是个二分类模型。logistics回归是个线性分类模型，有着线性的决策边界，但是有着非线性的激活函数去估计后验概率。下面就从数学层面讲讲logistics回归。 首先介绍下sigmoid函数 其函数图像： 显然sigmo

本篇博文主要总结贝叶斯网络相关知识。复习之前的知识点相对熵相对熵，又称互熵，交叉熵，鉴别信息，KullbackKullback 熵，Kullback−LeibleKullback-Leible 散度等 。设p(x)、q(x)p(x)、q(x) 是XX 中取值的两个概率分布，则pp 对qq 的相对熵是 : D(p||q)=∑xp(x)logp(x)q(x)=Ep(x)logp(x)q(x)D(p|

本篇博文将详细总结隐马模型相关知识，理解该模型有一定的难度，在此浅薄的谈下自己的理解。HMM定义HMMHMMHMM 是关于时序的概率模型，描述由一个隐藏的马尔科夫链生成不可观测的状态随机序列，再由各个状态生成观测随机序列的过程。隐马尔科夫模型随机生成的状态随机序列，称为状态序列；每个状态生成一个观测，由此产生的观测随机序列,称为观测序列。序列的每个位置可看做是一个时刻。上图中的...