zhongxiayimeng的博客

朴素贝叶斯算法概述朴素贝叶斯（naive Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对于给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。算法流程1.朴素贝叶斯法是典型的生成学习方法，生成方法由训练数据学习联合概率分布P(X,Y),然后求得后验概率分布P(Y|X)。即，利用训练数据学习P

Logistic回归简介假设有一些数据点，我们利用一条直线对这些数据点进行拟合（该线称为最佳拟合直线），这个拟合过程就称为回归。利用Logistic进行回归的主要思想：根据现有数据对分类边界线建立回归公式，以此进行分类。算法流程1.优化目标函数需要的函数应该是可以接受所有的输入然后预测出类别。 例如，在两类的情况下，上述函数输出0或1。海维塞德阶跃函数或者直接称为单位阶跃函数满足这一性质。然而，海

支持向量机概述支持向量机是一种二分类模型，他的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机（感知机利用误分类最小的策略，求得分离超平面，解有无穷多个；线性可分支持向量机利用间隔最大化求解最优分离超平面，解是唯一的。）；支持向量机还包括核技巧（将数据，有时是非线性数据，从一个低维空间映射到一个高维空间，可以将一个在低维空间中的非线性问题转换为高维空间下的线性问题来求解。）

集成方法集成方法就是通过组合多个分类器的分类结果，获得比简单的分类器更好的分类结果。 使用集成方法的多种形式： 1）可以是不同算法的集成 2）可以是同一算法在不同设置下的集成 3）数据集不同部分分配给不同分类器之后的集成 厦门介绍同一种分类器多个不同实例的两种计算方法(基于数据随机重抽样的分类器构建方法)：bagging（自举汇聚法）Bagging是在原始数据集选择S次后得到S个数据集的技

线性回归线性回归简洁的说就是将输入项分别乘以一些常量，再将结果加起来，得到输出。 求解回归系数：选择使得平方误差最小的W(回归系数)。 平方误差可以写作：∑i=1m(yi−xTiw)2\sum_{i=1}^{m}(y_{i}-x_{i}^{T}w)^{2} 用矩阵表示还可以写做(y−Xw)T(y−Xw)(y-Xw)^{T}(y-Xw)。如果对W求导，得到XT(Y−Xw)X^{T}(Y-Xw)