秋水顽石

分析朴素贝叶斯模型朴素贝叶斯模型它简单的假设了各个数据之间是无关的，是一个被严重简化了的模型。所以，对于这样一个简单模型，大部分场合都会Bias部分大于Variance部分，也就是说高偏差而低方差。方差与偏差上一节中我们已经介绍过以下公式： 这里的Err大概可以理解为模型的预测错误率，由两部分组成的，一部分是由于模型太简单而带来的估计不准确的部分（Bias）;另一部分是由于模型太复杂而带来的更大的

概念偏差：描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据集。 （Ps:假设靶心是最适合给定数据的模型，离靶心越远，我们的预测就越糟糕）方差：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，预测结果数据的分布越散。 基于偏差的误差：所谓基于偏差的误差是我们模型预期的预测与我们将要预测的真实值之间的差值。偏差是用来衡量我们的模型的预测同真实值的差

问题的引入我们知道导数的求导公式为： 由公式可见，对点x0的导数反映了函数在点x0处的瞬时变化速率，或者叫在点x0处的斜度。这是对于一维函数来说，如果推广到多维函数中，就有了梯度的概念，梯度是一个向量组合，反映了多维图形中变化速率最快的方向。我们先对单个特征进行分析。我们先从实际问题引入。在 此处，为了简单，假设我们的房屋就是一个变量影响的，就是房屋的面积。假设有一个房屋销售的数据如下： 面积

引言SVM的学习SMO算法： 需要满足的KKT条件为： (PS：实际上以上的三个公式是我们根据KKT条件得到的 )也就是说找到一组αi可以满足上面的这些条件的就是该目标的一个最优解。所以我们的优化目标是找到一组最优的αi*。一旦求出这些αi*，就很容易计算出权重向量w*和b，并得到分隔超平面了。这是个凸二次规划问题，它具有全局最优解，一般可以通过现有的工具来优化。但当训练样

坐标下降（上升）法原理假设要求解下面的优化问题：在这里，我们需要求解m个变量αi，一般来说是通过梯度下降（这里是求最大值，所以应该叫上升）等算法来求解，每一次迭代对所有m个变量αi也就是α向量进行一次性优化。（这里指的是一个向量的所有分量）。通过每次迭代中的误差调整α向量中每个元素的值。而坐标上升法（坐标上升与坐标下降可以看做是一对，坐标上升是用来求解max最优化问题，坐标下降用于求min最优化问题