鹿西西吧的博客

上一篇说了决策树的理论知识，现在用代码进行决策树的模型训练，使用训练的模型进行预测分类数据集说明：根据特征判断是否有肿瘤，label值分为2和4，2是无，4是有。共700个样本数，11个特征集，部分数据截图如下，可以看到该数据集中有个别数据是杂乱字符，像？这种，不能直接进行训练做分类，要先对这些数据做一个数据处理至于如何处理，在代码得注释中写的很清楚：代码如下：#实现决策树分类，值得注意的是对于数据的处理import numpy as npimport pandas as pdfrom

决策树（decision tree）决策树简单介绍信息量信息熵信息增益决策树简单介绍决策树是一种基于树状结构来做决策的。是一种常见的机器学习方法。主要做分类，也可以做回归。一棵决策树含有一个根结点（样本全集），若干个内部结点和若干个叶结点（最终结论）。简单的一个例子。比如我们相亲的时候，老母亲甩出来一沓照片来让你做选择。这时候我们会问一些问题来做一下筛选，比如对方的年龄，相貌，工作收入，家庭住址等等等，然后最终确定选择两个或三个人去见。这一系列问题和层层的筛选判断就是在做决策，这些问题为“子决策”。

多分类学习OVO和OVRsklearn实现多分类问题：鸢尾花分类OVO和OVR之前提到的是二分类问题，问题结果是0或1这种明显分为两类的。在现实任务中往往遇到的是多分类问题，有些二分类学习方法可以推广到多分类上使用，但是在更多情况下可以使用拆解法，把一个多分类任务分成多个二分类任务解决。多分类问题的解决思路就是使用拆解法。先对问题进行拆分，再为拆分出来的每一个二分类任务训练一个二分类学习器。最后在进行预测的时候，把这些二分类学习器预测结果进行集成来获得多分类问题最终的结果。上述解决思路中最关键的就是

分类模型评价分类模型的模型评价含义的理解在代码中的实现分类模型的模型评价含义的理解像对数几率回归模型这种用于分类问题的模型，它们对测试集数据进行预测而得到的准确率并不能很好地反映模型的性能，为了有效的判断一个预测模型的性能表现，需要结合真实值，计算出精确率，召回率和准确率等指标来衡量。一，要了解查准率和查全率的含义，首先来看一下分类结果的“混淆矩阵”----对于一个二分类问题，根据样例的真实类别和机器学习预测的类别分为TP（真正例）,FP（假正例）,TN（真反例）,FN（假反例）看个例子理解：

对数几率回归原理代码实现原理之前介绍了代码实现

多元线性回归原理代码实现原理多元线性回归是一元线性回归的升级版吧，都是线性模型。线性回归就是试图学到一个线性模型，尽可能的准确的预测出真实值。就是给机器数据集，其中包括x特征值和对应的y值，通过训练得出一个模型，再只拿一些x特征值给它，这个模型给你预测出较为精准的y值。线性回归试图学到的模型是：f(x)=ωxi+bf(x)=\omega x_{i}+bf(x)=ωxi​+b，使得预测值f(x)跟真实值y结果相似。看着眼熟不？其实本质就有点像我们的f(x)=kx+bf(x)=kx+bf(x)=kx+b

梯度下降算法GD1.批量梯度下降算法BGD原理代码实现2.随机梯度下降算法SGD原理代码实现3.小批量梯度下降算法MGD原理代码实现1.批量梯度下降算法BGD原理多元线性回归模型是：f(x^i)=x^iT(XTX)−1XTyf(\hat{x}_i)=\hat{x}_{i}^{T}(X^{T}X)^{-1}X^{T}yf(x^i​)=x^iT​(XTX)−1XTy使用此线性回归模型的条件是XTXX^{T}XXTX必须为满秩矩阵或者正定矩阵。而一般现实任务中往往不是满秩矩阵，比如当X的列数多于行数（即特

岭回归代码实现过拟合与欠拟合了解正则化与岭回归岭回归代码实现过拟合与欠拟合了解在机器学习中模型的泛化能力很重要，泛化能力强的模型（本人理解为该模型对于大部分数据的拟合都能达到较好的效果即为泛化能力强的模型）是好模型。这里面就涉及到欠拟合与过拟合问题。1.欠拟合underfitting：简单来说，就是用简单的模型去拟合复杂的数据，这会导致高Bias(偏差，即模型的期望输出与真实的输出之间的差异)2.过拟合overfitting：用复杂的模型去拟合简单的数据，会导致高Variance(方差，刻画了不同的

多项式回归多项式回归使用的情况：当因变量y与自变量x为非线性关系时，线性关系不满足拟合状态，找不到合适的曲线拟合，可采用一元多项式回归（如f(x)=θ0+θ1x+θ2x2+θ3x3f(x)=\theta_{0}+\theta_{1}x+\theta_{2}x^{2}+\theta_{3}x^{3}f(x)=θ0​+θ1​x+θ2​x2+θ3​x3），通过增加x的高次项对实测点进行逼近，直到拟合结果满意为止。要说这个多项式回归吧，其实也能看做线性模型的一种。我们把x2x^{2}x2看作第二个特征x2x_{