RF~or的博客

1.1何为机器学习机器学习就是将无序的数据转换成有用的信息。机器学习横跨计算机科学、工程技术和统计学等多个学科，需要多学科的专业知识。1.2关键术语1.3机器学习的主要任务无监督学习的数据没有类别信息，也不会给定目标值。在无监督学习中，将数据集合分成有类似的对象组成的多个类的过程被称为聚类；将寻找描述数据统计值的过程称之为密度估计。此外，无监督学习还可以减少数据特征的维度，以便我们可...

2.1k-近邻算法概述k-近邻算法采用测量不同特征值之间的距离进行分类。

决策树常用来处理分类问题，也是最经常使用的数据挖掘算法。它之所以如此流行，一个很重要的原因就是使用者基本上不用了解机器学习算法，也不用深究它是如何工作的。下图所示的流程图就是一个决策树，正方形代表判断模块（decision block），椭圆形代表终止模块（terminating block），表示已经得出结论，可以终止运行。从判断模块引出的左右箭头称作分支（branch），它可以到达另一个判断模...

k-近邻算法和决策树要求分类器做出艰难决策，给出“该数据实例属于哪一类”这类问题的明确答案。不过，分类器有时会产生错误结果，这是可以要求分类器给出一个最优的类别猜测结果，同时给出这个猜测的概率估计值。...

目录5.1 基于logistic回归和sigmoid函数的分类5.2基于最优化方法的最佳回归系数确定5.2.1 梯度上升法5.2.2 训练算法：使用梯度上升法找到最佳参数5.2.3 分析数据：画出决策边界5.2.4 训练算法：随机梯度上升5.3 示例：从疝气病症预测病马的死亡率5.3.1 准备数据：处理数据中的缺失值5.3.2 测试算法：用logistic回归进...

3.2在python中使用matplotlib注解绘制树形图

目录6.1 基于最大间隔分隔数据6.2 寻找最大间隔6.2.1 分类器求解的优化问题6.2.2 SVM应用的一般框架6.3 SMO高效优化算法6.3.1 Platt的SMO算法6.3.2 应用简化版SMO算法处理小规模数据集6.4利用完整Platt SMO算法加速优化6.5 在复杂数据上应用核函数6.5.1 利用核函数将数据映射到高维空间6.5.2 ...

目录7.1 基于数据集多重抽样的分类器7.1.1 bagging：基于数据随机重抽样的分类器构建方法7.1.2 boosting7.2 训练算法：基于错误提升分类器的性能7.3基于单层决策树构建弱分类器7.4 完整AdaBoosts算法的实现7.5 测试算法：基于AdaBoosts的分类7.6 示例：在一个难数据集上应用AdaBoost7.7 非均衡分类问题...