xchen-lol的博客

感知机概要如下：误分类驱动，只能用于线性可分数据，损失函数定义为错分点到超平面的函数间隔 sigma_i( -yi*(wi*x+b) ) 对于每个被错分的 (xi,yi)正确分类样本损失为0，误分类损失就是函数间隔，类似铰链损失向左移动学习采用随机梯度下降法，每次选取一个误分类样本来更新w,b选定一个误分类样本(xi,yi)， w += yi*xi*ita，b += yi*ita，其中

朴素贝叶斯概要如下：学习过程采用极大似然估计 （或带拉普拉斯平滑的贝叶斯估计）特征的各个维度视作相互独立核心是贝叶斯公式，利用p(y|x=?) 正比于 p(x=?|y)*p(y)，求出每个 p(y=yi|x=?)，取其中最大的那个yi作为预测标签x=[x1,x2,x3...xd]，将每个维度视作独立，则p(x|y) = p(x1|y)*p(x2|y)*...p(xd|y)，注意这是一个