核桃仁先生的博客

优秀的决策树：在具有好的拟合和泛化能力的同时，需要满足（深度：所有节点的最大层次数）。误差：训练误差和测试误差过拟合：训练误差地，测试误差高（模型结构过于复杂）欠拟合：训练误差高，测试误差低（模型结构过于简单）

ID3算法就是用来判断，用计算出的。这里我们举一个信息增益计算的具体的例子。输入的是m个样本，样本输出集合为D，每个样本有n个离散特征，特征集合即为A，输出为决策树T。以贷款申请样本数据集为例，初始化阈值=0.001，非空样本集。选择信息增益最大的特征。特征有自己的房子D1样本集由于全部是同意贷款，因此直接生成叶子节点。但是D2样本就需要进行特征选择，将D2作为一个新的训练数据集（A1，A2，A4作为新的特征集，来计算信息增益），新的训练数据集如下图黄色标注。

决策树属于归纳法。决策树模型是一种描述对实例进行分类的树形结构。内部节点表示属性/特征，叶结点表示类别。构建决策树最优特征如何选择？??????????决策树：给定特征条件下类的P(Y|X)---------分类，Y表示类别，X表示特征条件概率分布：特征空间（有特征向量组成，用来表示每一个输入的实例）的一个划分决策树的概率分布理解：一条路径对应划分中的一个单元，决策树的条件概率分布由各个单元给定条件下类的条件概率分布组成。

总结下KNN的优缺点：理论成熟，思想简单，既可以用来做分类也可以用来做回归可用于非线性分类训练时间复杂度比支持向量机之类的算法低，仅为O(n)和朴素贝叶斯之类的算法比，对数据没有假设，准确度高，对异常点不敏感由于KNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为适合该算法比较适用于样本容量比较大的类域的自动分类，而那些样本容量较小的类域采用这种算法比较容易产生误分。

但是用普通的基于所有样本的梯度和的均值的批量梯度下降法（BGD）是行不通的，原因在于损失函数里面。所以我们不能用最普通的批量梯度下降,只能采用随机梯度下降（SGD）或者小批量梯度下降（MBGD）。感知机模型选择的是采用，这意味着每次仅仅需要使用一个误分类的点来更新梯度。w + η y x。

在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x, ∂f/∂y)T,简称grad f(x,y)或者▽f(x,y)。从几何意义上讲，就是函数变化增加最快的地方。具体来说，对于函数f(x,y),在点(x0,y0)，沿着梯度向量的方向就是(∂f/∂x0, ∂f/∂y0)T的方向是f(x,y)增加最快的地方。或者说，沿着梯度向量的方向，更加容易找到函数的最大值。

超平面的含义：如果环境空间是n维的，所对应的超平面就是n-1维的子空间。二维的特征空间，超平面是一条直线，三维的特征空间，超平面是一个面。感知机是一种。它的目标是找到一个，将特征空间中的两类样本点（假设线性可分）完全正确地分开。输入：实例的特征向量输出：实例的类别y，取+1（正类）或-1（负类）。感知机模型可以表示为输入特征到输出类别的函数：。每个分量wi对应特征xi的重要性（权重）。决定了超平面的方向。b： 一个常数项，也称为阈值。决定了超平面相对于原点的偏移。w · x。这是线性组合。sign。

方法：感知机、K近邻法、朴素贝叶斯、决策树、逻辑回归应用：银行业务、网络安全、图像处理、手写识别、互联网搜索。

通过训练集得到的模型有两种形式：生成模型和判别模型。生成模型（Generative Models）和判别模型（Discriminative Models）是机器学习中两种核心建模方法，它们在上存在显著差异。理解它们的区别对选择合适的算法至关重要。

多项式拟合M=9是过拟合的情况。

假设你是一个外卖配送平台的调度员。你的目标是。如何将订单分配给骑手？骑手按什么顺序送餐？这些分配和路径选择就是你的决策变量。一个计算函数，输入是你的分配方案和路径方案，输出就是所有骑手完成所有订单所花费的总时间。这个总时间函数f(x)就是你的目标函数，你需要它。每个订单必须被送达；骑手一次只能送一个订单（或有限个）；订单必须在承诺时间内送达；骑手不能超速行驶等等。在这个例子中，目标函数（总配送时间）清晰地定义了你追求的目标（最快送达），优化算法会尝试不同的订单分配和路径规划方案（改变x。

了解统计学习方法步骤与分类