Grit_007的博客

一、决策树简介决策树，顾名思义，首先是一个树形结构（二叉树或者非二叉树），内部节点表示一个特征或者属性，外节点表示一个类。可以将决策树看成一个if-then规则的集合，由决策树的根节点到叶节点的路径构成一条规则。决策树模型学习的目标是根据给定的数据集，建立一个决策树模型，使它能够对实例进行正确的分类，本质上是从训练集中归纳出一组分类规则，决策树学习是由训练数据估计条件概率模型。二、决策树算...

前言机器学习算法主要分为三部分的应用:分类、回归、聚类。前两部分我们都已经介绍过，今天我们来说最后一部分–聚类。首先来说聚类它是一种无监督学习方式，输入的数据集实例中并没有标签，也没有指定的学习任务，算法的结果是产生几个簇，把最相似的数据实例放在一起，而这个相似度的度量，正是算法的核心，本文采用的是基于距离的度量方式（有点类似KNN算法策略）。一、算法实现该算法思想比较简单，我就不啰嗦了，...

前言前面一直讨论的都是机器学习中的分类问题，今天来实现一个简单的回归问题。线性回归，分为一元线性回归和多元线性回归，前者自变量只有一个特征，后者自变量具有多个特征。本文不从数学角度来理解，忽略背后的数学原理和证明过程，有兴趣的读者可参考其他相关资料。一、算法简介首先来说，线性回归在我们生活中有着极其广泛的应用，房价预测、销量预测、价格预测等都有其身影。算法的目的是求得一条最佳的线性拟合直线，...

一、无约束的优化问题1、梯度下降法：核心就是求偏导，都会涉及到泰勒展开等，目的都是找到最佳最快的收敛点。2、牛顿法：寻找更合适的步长，以便于更快的收敛，自适应更强，其过程是用一组二次曲线，逐步的去逼近最优点，需要涉及到二次导数的计算，不适合高维数据，高维会导致计算量极大，其实用的相对少一点。二、有约束的优化问题1、拉格朗日乘子法：首先构造拉格朗日函数，然后求偏导，令偏导等于零求解即可，具体...

前言SVM算法确实有难度，我感觉没有两三遍学习，是很难彻底掌握的，这是我第一遍学习时的理解与体会，有瑕疵的地方还望海涵，日后会再更新（SVM算法的数学原理很多也很复杂，本文不作深入介绍，仅在需要的时候提一下）。一、算法简介SVM算法，全称是支持向量机算法，是一个二分类机器学习算法，也是目前分类效率最高以及泛化性能最好的算法，不过以此同时也是理论最深、实现起来最复杂的算法。为什么叫支持向量机...

一、算法简介朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设(这也是为什么成为朴素贝叶斯算法的原因，如果特征不不独立，则需要用到贝叶斯网络模型，此文不做介绍)的分类方法。对于给定的训练集，首先基于特征条件独立假设学习输入/输出的联合概率分布，然后根据学得的模型，对于给定的输入x,模型根据后验概率最大化输出y(也就是x的类别)。二、算法执行步骤1.准备数据训练集2.格式化数据以满足算法输入要求...

 目录前言1、K-近邻算法概述2、K-近邻算法的一般流程3、具体模块实现4、附完整代码前言 代码运行环境是pycharm，编译器是anaconda3，任何IDE或者编辑器都能运行此 demo，只要配置好环境即可 数据集链接：https://www.manning.com/books/machine-learning-in-action  sourceco...

一、算法简介说到逻辑回归，我们应该先提一下与其紧密相关的线性回归。在统计学中，线性回归（Linear Regression）是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合（自变量都是一次方）。 函数的输入是特征向量及其对应的标签（因为是监督学习方式），输出是学得的模型，也就是一个线性函数y=...

版权声明：本文为博主原创文章，转载请注明来源。 https://blog.youkuaiyun.com/Dream_angel_Z/article/details/49388733 本文是一篇关于特征工程的总结类文章，如有不足之处或理解有偏差的地方，还望大家多多指点。首先，给...