lbllol365的博客

第四章 朴素贝叶斯法 概述 　　基本思想：对于给定的数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布，然后基于此模型，对于给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。 　　特点：实现简单；学习和预测的效率都很高；很常用。 4.1 朴素贝叶斯法的学习与分类 给定数据集 T={(x1,y1),(x2,y2),⋯,(xN,yN)}T={(x1,y1),(x2,y...

1.1 统计学习 　　统计学习是关于计算机给予数据构建概率统计模型并运用模型对数据进行预测和分析的一门学科，也称之为统计机器学习。 　　统计学习的主要特点： 　　　　１．建立在计算机和网络之上的。 　　　　２．数据驱动。 　　　　３．目的是对数据进行预测和分析。 　　　　４．以统计学习方法为中心，运用方法构建模型并对数据进行分析和预测。 　　　　５．交叉学科，并逐渐自成体系与方法论。...

第二章 感知机概括　　感知机是二类分类模型。 　　输出取-1和+1二值。 　　属于判别模型。 　　利用梯度下降法进行学习。 　　具有简单而易于实现的优点。 　　是神经网络和支持向量机的基础。2.1 感知机模型　　定义 2.1（感知机）：假设输入空间（特征空间）是X⊆Rn{\rm{X}} \subseteq {R^n}，输出空间是Y={−1,+1}Y = \{ - 1, + 1\} 。由输

第三章 k近邻法 概述 　　它可以用来做分类和回归。 　　k近邻法不具有显式的学习过程。 　　k值的选择、距离度量以及分类决策规则是k近邻法的三个基本要素。 3.1 k近邻算法 　　算法简述：给定一个训练集，对于新进实例，在数据集中找出与其距离最近的k个实例，然后计算这k个实例将其划分为哪一类最多，就认为新进实例属于那一类。 算法 3.1（k近邻法） 　　输入：训练数...

第五章 决策树 概述 　　1.可以认为是if-then的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。 　　2.主要优点是模型具有可读性，分类速度快。 　　3.包括三个步骤：特征选择、决策树的生成和决策树的修剪。 5.1 决策树模型与学习 　　决策树的损失函数通常是正则化的极大似然函数。 　　现实中决策树算法通常采用启发式方法，近似求解这一最优化问题，这样得到的...