凌阳的博客

原理分析：代码分析： 1.初始化数据 ①对data数据转化为0-1浮点型 进行归一化处理 ②将label值进行二值化 2.对Adaboost模型进行训练 （1）创建提升树 通过创建每层提升树，迭代50次，计算当前层的alpha得到每层的预测结果，并更新D ①创建单层提升树 curTree = createSigleBoosti..

算法支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。对于线性可分的训练数据集而言，线性可分分离超平面有无穷多个，但是几何间隔最大的分离超平面是唯一的。这里的间隔最大化又称为硬间隔最大化。而当训练数据集近似线性可分时，为软间隔最大化。 代码分析： 1.初始化数据 ①对data数据转化为0-1浮点型 进行归一化处理 ②将label...

原理分析：代码分析： 最大熵 利用拉格朗日乘子法将最大熵模型由一个带约束的最优化问题转化为一个与之等价的无约束的最优化问题。利用对偶问题的等价性,将原始问题转换为一个max min问题。 可以利用拉格朗日乘子法获取p。 首先计算拉格朗日函数L对p(y|x)的偏导数 1.初始化数据①对data数据转化为0-1浮点型 进行归一化处理②将label值进行二值化2.最大熵训练①对各参数初始化②计算(x, .

原理分析：代码分析： 逻辑斯谛 1.初始化数据①对data数据转化为0-1浮点型 进行归一化处理②将label值进行二值化2.逻辑斯谛回归训练①按照二项逻辑斯蒂回归模型，将w与b合在一起，②将数据集由列表转换为数组形式③设置步长和迭代次数步长为0.001迭代次数为300④迭代iter次进行随机梯度下降极大化似然函数，但是似然函数由于有求和项，并不能直接对w求导得出最优w，所以需要对似然函数求和部分中每一项...

原理分析：决策树信息增益信息增益算法信息增益比生成决策树（c4.5算法）代码分析：决策树（1）加载数据①读取数据，分割放入列表②将label值二值化，>=5为1，<5为0③将data值二值化，=0的为0，不等于0的为1④放入矩阵中 （2）求最优特征：计算信息增益比 ①计算特征数 =Train_label.shape[1] ②计算信息熵HD 统计每个特征的label值，在进行运算.

原理分析朴素贝叶斯算法 朴素贝叶斯方法是贝叶斯定理与特征条件独立假设相结合的分类方法。对于给定的训练数据，首先基于特征条件独立假设学习输入输出的联合概率分布；再利用贝叶斯定理算出后验概率最大的类。朴素贝叶斯算法拉普拉斯平滑代码解析： 朴素贝叶斯 （1）加载数据 ①加载数据，将mnist二进制数据集加载成矩阵形式 ②将label值二值化，label>=5时为1，label<5时为0 ③将data值二值化，当data=0...

原理解析： K近邻法算法 原理 K近邻法的含义就是k个最相近的“邻居”。将待测试的数据每个特征和训练样本数据的每个特征进行比较，然后提取k个最邻近的训练样本数据，统计这k个训练样本数据的分类标签，其中出现次数最多的标签所表示的类别就是待测试数据的类别。 算法：根据给定的距离量度方法（这里我们选择使用欧氏距离）在训练集T中找出与x最相近的k个样本点，并将这k个样本点所表示的集合记为Nk(x)； 欧式距离： 根据如下所示的多数投票的原则确..

原理分析 ①感知机 原理 设输入空间（特征空间）为 X ⊆ R ,输出空间为Y = { − 1 , + 1 } ，输入 x ∈ X为实例的特征向量 输出 y ∈ Y为实例的类别，由输入空间到输出空间的如下函数称为感知机 f(x) = sign(wx+b) 其中w和b为模型参数，w ∈ R n 称为权值，b ∈ R b称为偏置。sign是符号函数。 感知机模型有直观的几何解释：线性方程 w x + b = 0对应于分离超平面S,其中w为S...