David_house的博客

在当前所有算法中，具有极好的准确率能够有效的运行在大数据集上，处理具有高维特征的输入样本，而且不需要降维能够评估各个特征在分类问题上的重要性。

决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-else结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法。如何高效的进行决策？- 特征的先后顺序

假设特征和特征之间是相互独立的：通常，事件 A 在事件 B 发生的条件下与事件 B 在事件 A 发生的条件下，它们两者的概率并不相同，但是它们两者之间存在一定的相关性，并具有以下公式（称之为“贝叶斯公式”）：朴素+贝叶斯公式应用场景：文本分类（单词作为特征）

通常情况下，有很多参数是需要手动指定的（如K-近邻算法中的K值），这种叫超参数，但是手动过程繁杂，所以需要对模型预设几种超参数组合。每种超参数都采用交叉验证来进行评估。最后选出最优参数组合建立模型。

K Nearest Neighbor算法又叫KNN算法，这个算法是机器学习里面一个比较经典的算法。如果一个样本在特征空间中的K个最相似（即特征空间中最邻近）的样本大多数属于某一个类别，则该样本也属于这个类别。

Scikit-learn (sklearn) 是一个用于机器学习的Python库。其中两个重要的概念是转换器（transformer）和估计器（estimator），它们是scikit-learn库中的两个核心概念。转换器是将数据集从一种形式转换为另一种形式的工具。例如，将原始数据进行标准化处理，将文本数据转换为数值特征等。在sklearn中，转换器类的名称以Transformer结尾。转换器通常有一个fit_transform()方法，可以在训练集上拟合模型并将其应用于测试集。

降维是指在某些限定条件下，降低随机变量（特征）个数，得到一组“不相关”主变量的过程。注：正是因为在进行训练的时候，我们都是使用特征进行学习，如果特征本身存在问题或者特征之间相关性较强，对于算法学习预测会影响较大

通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程。数字型数据的无量钢化：①归一化②标准化为什么要进行归一化/标准化？​ 特征的单位或者大小相差较大，或者某特征的方差相比其他特征要大出几个数量级，容易影响（支配）目标结果，使得一些算法无法学习到其他的特征。​ 我们需要用到一些方法进行无量钢化，使不同规格的数据转换到同一规格。

对文本数据进行特征化（句子、短语、单词、字母）一般选用单词作为特征值。

数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。（1）什么是特征工程特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。意义：会直接影响机器学习的效果（2）特征工程的位置与数据处理的比较sklearn：用来做特征工程（对于特征的处理提供了强大的接口）pandas：数据清洗、数据处理（一个数据读取非常方便以及基本的处理格式的工具）

sklearn全称scikit-learn，是针对Python 编程语言的免费软件机器学习库，它提供了大量用于测试学习算法的数据集。