Sherlock的博客

常见的数据预处理--python篇1、 加载数据1.1 数据读取1.2 CSV文件合并1.3 CSV文件拆分1.4 数据查看2、缺失值2.1 缺失值查看2.2 缺失值处理2.2.1 不处理2.2.2 删除2.2.3 填充2.2.3.1 固定值填充2.2.3.2 出现最频繁值填充2.2.3.3 中位数/均值插补2.2.3.4 用前后数据填充2.2.3.5 拉格朗日插值法2.2.3.6 其它插补方法3、异常值3.1 异常值识别3.1.1 描述性统计法3.1.2 三西格玛法3.1.3 箱型图3.1.4 其它3.2

数据预处理1 数据可能存在的问题2 数据预处理步骤2.1 数据清洗2.1.1 缺失值处理2.1.2 离群点处理2.2 数据转换1 数据可能存在的问题在实际业务处理中，数据通常是脏数据。所谓的脏，指数据可能存在以下几种问题（主要问题）:数据缺失 （Incomplete） 是属性值为空的情况。如 Occupancy = “ ”数据噪声 （Noisy）是数据值不合常理的情况。如 Salary = “-100”数据不一致 （Inconsistent）是数据前后存在矛盾的情况。如 Age = “

机器学习支持向量机--SVM1.SVM概念2.原理解析3.关于核函数（线性SVM-->非线性SVM）**多项式核函数**高斯核4.SVM与CNN5.调参经验1.SVM概念过渡带边界上的向量叫做支撑向量2.原理解析对于线性可分数据，分割平面的确定方法：找到分割平面的参数，是的支撑向量到大分割平面的距离最大，即间隔最远由于fi(x)都是<=0，vi>=...

机器学习--Adaboostboosting思想算法流程为什么能收敛？理解boosting思想算法流程1.考虑权值进去，初始化相等权值2.给基本分类器加权值！谁的误差率越小，谁的权值就越大！3.更新样本权值若样本预测错误，测样本的权值升高！4.构建基本分类器的线性组合，得到最终分类器为什么能收敛？理解bagging：基分类器相互独立m*（均值/m) ...

机器学习--提升1.提升的概念二级目录三级目录1.提升的概念二级目录三级目录

机器学习--随机森林机器学习--随机森林随机森林作用1.计算特征重要度2.检测异常值机器学习–随机森林随机森林作用1.计算特征重要度2.检测异常值未完待续。。。...

机器学习--决策树机器学习--决策树1.定义2.生成算法3.衡量标准：信息增益，Gini系数4.评价函数5.样本不均衡的处理方法机器学习–决策树决策树分支的过程就是熵不断减小的过程 ，熵为0的点无法继续分支，仍然可以看作贪心算法。1.定义2.生成算法节点分支的方法：选择一个属性，是的根据该属性分支后，熵下降最快！3.衡量标准：信息增益，Gini系数4.评价函数5.样本不均...

这里写自定义目录标题机器学习数学基础1.条件概率2.全概率公式3.贝叶斯（Bayes）公式4.条件熵5.相对熵6.互信息7.互信息与条件熵机器学习数学基础数学基础1.条件概率2.全概率公式3.贝叶斯（Bayes）公式4.条件熵5.相对熵6.互信息度量两个随机变量距离7.互信息与条件熵并集为联合熵，交集为互信息，H（X|Y）:给出Y信息后，H（X）减少了I（X...

前言一. 重要的Python库考虑到那些还不太了解Python科学计算生态系统和库的读者，下面我先对各个库做一个简单的介绍。NumPy   NumPy（Numerical Python的简称）是Python科学计算的基础包。本书大部分内容都基于NumPy以及构建于其上的库。它提供了以下功能（不限于此）：快速高效的多维数组对象ndarray。用于对数组执行元素级计算以及直接对数组执...