wang_zuel的博客

机器学习笔记——决策树的python实现前言熵的简介主要步骤参考目录前言关于决策树的理论知识部分，这里就不多说了，论坛中有许多博客都有介绍，这里主要介绍其实现过程。对于决策树，有些类似于利用二叉树来构建分类器，当然，对于决策树而言，并不只限定于对二元属性（是、否）的样本进行分类，也可以对标称属性（不同状态，如男、女；单身、已婚、离异；）和连续属性（如收入、身高等）的样本构建决策树进行分类，对...

机器学习笔记——logistics的python实现参考书籍方法优缺点sigmod函数梯度上升算法python实现样本数据分析对于logistics回归，能利用回归的方法实现对目标数据的分类（0或1，这取决于sigmod函数的特性），是一种非常有用的分类方法，下面对其实现过程进行介绍。参考书籍参考书籍：人民邮电出版社——图灵程序设计丛书《机器学习实战》方法优缺点优点：计算代价不高，易于理...

机器学习笔记——logistics梯度上升算法的改进参考书籍随机梯度上升算法随机梯度上升算法改进训练集外数据验证参考书籍参考书籍：人民邮电出版社——图灵程序设计丛书《机器学习实战》在上一篇文章：机器学习笔记——logistics的python实现中涉及到了梯度上升算法，但是在上文的实现过程当中，在每一次迭代中都需要涉及到整个样本矩阵的计算，当样本和特征数量的极大时，就需要大量的复杂计算，下面...

机器学习笔记——支持向量机SMO算法参数上下界图片来源笔记$y_1$和$y_2$异号时$y_1$和$y_2$同号时关于max和min图片来源Fig图片来源：https://blog.youkuaiyun.com/guoziqing506/article/details/81155323笔记在SMO算法的解决过程中涉及到了两个参数的上下界问题，首先在解决优化问题中的约束条件如下：其中yi=±1y...

机器学习笔记——支持向量机SMO算法完整版代码分析代码参考书籍：《机器学习实战》\qquad在前两次阅读SMO算法时，并未搞懂代码中的一些部分是什么作用，此处对书中的代码进行一个解读，希望对你有帮助！...

在支持向量机的学习过程中碰到过一些问题，这里做一个整理，包括看到的觉得较好的原理介绍的帖子。

机器学习笔记——支持向量机SMO算法完整版（核函数）\qquad前面的代码中（机器学习笔记——支持向量机SMO算法完整版代码分析）使用的“间隔”为线性的间隔计算方法，即向量內积（Kij=(xi,xj)K_{ij}=(x_i,x_j)Kij​=(xi​,xj​)）。\qquad但是在样本数据线性不可分时，就需要通过核函数来进行转换，将低维数据映射到更高位当中进行分类，那么就要将算法中的代码进行修...

# -*- coding: utf-8 -*-"""Created on Sat Aug 24 11:14:58 2019@author:wangtao_zuelE-mail:wangtao_zuel@126.com决策树CART方法"""import numpy as npimport pandas as pddef loadData(filepath,fileTy...