leibaojiangjun1的博客

基本的朴素贝叶斯方法：假设我们面对的是一个分类问题，一个样本点的特征向量和类别标签为：我们期望在知道x的情况下得到y=cj的概率，即：如果我们想要具体的知道这个样本属于哪一类别的概率最大，即需要求解最大的后验概率：先验概率为：条件概率为：朴素贝叶斯方法做了条件独立性假设，于是可以有：以上的条件独立假设等于说是用于分类的特征

K近邻法（KNN）是一种基本的分类和回归的方法，KNN的基本思想是给出一定数量带有标签的训练样本，使用这些训练样本将特征空间划分成许多的子空间，当一个新的测试样本进来以后，这个测试样本一定会落在一个超矩形区域内部，然后找到距离这个测试样本最近的K个训练样本，用这些训练样本的标签去投票，票数最多的类别就是这个测试样本的类别。KNN的三个要素：K值选择，距离度量，分类决策规则。算法描述：

感知机于1957年由Rosenblatt提出，是一种线性分类模型，属于判别模型，直接学习判别函数，是神经网络和支持向量机的基础。对于感知机的学习推导首先要知道他的模型是什么，然后是学习策略（损失函数），最后是学习算法。1.    感知机的模型（假设空间）：其中符号函数为：2.     感知机的学习策略（损失函数）：首先超平面为：点到超平面的距

统计学习的基本假设：X和Y具有联合概率分布，并且训练数据与测试数据被看作是依据联合概率分布独立同分布产生的。（测试数据和训练数据独立同分布，才可能由学习到的模型去预测未来的数据）。统计学习的三个要素：模型： 监督学习过程中，模型就是所要学习的条件概率分布或者决策函数（你要学习到什么样的模型）策略： 按照什么样的准则学习或者选择最优模型。（有了模型的类型，按照什么方式来计算这个模型，