记录簿

朴素贝叶斯法朴素贝叶斯算法贝叶斯分类笔记 朴素贝叶斯算法 首先训练朴素贝叶斯模型，对应算法4.1(1)，分别计算先验概率及条件概率，分别存在字典priorP和condP中（初始化函数中定义）。其中，计算一个向量各元素频率的操作反复出现，定义为count函数。 # 初始化函数定义了先验概率和条件概率字典，并训练模型 def __init__(self, data, label): self...

K近邻算法没有显示的学习过程，由三个基本要素——距离度量，k值的选择和分类决策规则决定。 距离选择可以是欧式距离，Lp距离或Minkowski距离 k值的选择过大会使模型变得简单；过小会导致过拟合，通常取一个比较小的数值采用交叉验证法来取最优。 分类决策规则往往是多数表决（等价于经验风险最小化）。 kd树最近邻搜索 建树过程比较简单，详见文末代码，这里直接从搜索开始。 # 用kd树的最...

感知机是二类分类的线性分类模型，利用随机梯度下降法对基于误分类的损失函数进行极小化。 书中算法可以将所有样本和系数向量写成增广向量的形式，并将所有负样本乘以-1，统一形式，方便计算。 （1）训练数据集线性可分时，感知机学习算法原始形式迭代收敛 （2）算法存在许多解 感知机学习算法的对偶形式使得训练过程中实例仅以内积形式出现，可以提前存储（Gram矩阵）。 # train = [[(3, 3), ...

决策树的损失函数为正则化的极大似然函数。 根据一定的准则依次选择具有好的分类能力的特征，作为决策树的结点，将数据集划分为子集，继续选择最优特征，划分子集，一层层向下，直到子集已经更够被基本正确分类，构建叶结点。就生成了一棵决策树。 但这样可能会过拟合，需要剪枝。 特征选择有以下几种：信息增益 信息增益 经验熵的计算： def cal_H_D(data): classes = set(da...