qq_33253721的博客

1 支持向量机介绍支持向量机（Support Vector Machine，SVM）常用于数据分类，也可以用于数据的回归预测中。对于一个二分类，我们得到了以下两种分类器的决策边界（黑线和蓝线）：如果此时新加入一个属于红色数据点的新数据，黑色的线会把这个新的数据集分错，而蓝色的线不会。以上的例子较为主观，客观地评判分类器的健壮性，我们需要引入一个概念：最大间隔。最大间隔刻画着当前分类器与数据集的边界，以这两个分类器为例：可以看到， 蓝色的线最大间隔是大于黑色的线的，所以我们会选择蓝色的线作为我

1决策树的介绍和应用决策树的核心思想是基于树结构对数据进行划分：1.1 决策树的主要优点：（1） 具有很好的解释性，模型可以生成可以理解的规则。何为可解释性？即模型逻辑/预测结果多大程度上是人类可以理解的，也就是说我们能够理解一个模型的整个逻辑，并遵循整个推理导致所有不同的可能结果。（2）可以发现特征的重要程度。特征的重要程度，比如我们如何知道根节点需要选择“有房”这个属性，而不是其他的“有车”“有存款”等等？数学上有一种方法就是信息熵。整个过程的描述有点复杂，可以查看链接: link.除了信

第一部分 准备知识使用一个小Demo讲解了可视化的过程，以及如何使用sklearn的方法进行逻辑回归分类。1.1 需要导入的库函数## 基础函数库import numpy as np ## 导入画图库import matplotlib.pyplot as pltimport seaborn as sns## 导入逻辑回归模型函数from sklearn.linear_model import LogisticRegression1.2 训练逻辑回归模型##Demo演示Logis

第一部分 异常检测这一部分实现异常检测算法，检测服务器的异常行为。1.高斯分布使用高斯模型来检测数据集中的异常数据。公式：μ：均值；σ^2：方差实现代码计算上述两个参数，需要注意的是在octave中，计算方差时，分母使用m-1，而不是mmu = sum(X) / m;sigma2 = sum((X - mu) .^ 2) / (m-1);2.选择阈值ε确定哪些数据异常的一种方法是根据交叉验证集选择一个阈值。可以通过交叉验证集的F1分数实现算法来选择阈值。F1分数由精确度（pre

第一部分 K-means聚类这一部分实现K-means聚类方法并用于图像压缩。1.实现K-meansK-mean算法是一种自动将相似数据聚类到一起的方法。该算法是一个迭代的过程，开始时随机设定一个质心，之后重复地将数据点分配到离其最近的质心，再重新计算质心。算法过程就是重复以下两个步骤：1）将每个样本点分配到最近的质心2）重新计算每个类的均值作为新的质心由于一开始选定的随机质心对结果有很大的影响，因此通常用随机化质心运行多次。最后选择代价函数最低的值作为解。1.1 最近邻质心代价函数（距离

第一部分 支持向量机1.使用SVM对线性可分样本进行分类样本点：这一部分让我们使用不同的参数C观察分类效果。C就是SVM中对误分类样本的惩罚程度（正值）。C越大对训练样本的分类就会越准确，但是泛化能力也会变差。C=1时：C=100时：可以看到C=100时虽然没有了误分类样本，但这个决策边界却过拟合了，当样本点轻微波动时，可能就会分类错误。而C=1时虽然有一个误分类的样本，却能满足样本点波动的条件，也就是样本点到决策边界的间距较大。2.高斯核函数SVM2.1 非线性分类这一部分使用SV

第一部分 神经网络题目介绍：使用反向传播实现手写数字识别数据集与上一次作业相同1.数据可视化与上一次作业相同2.神经网络模型这里的内容也与上一次作业相同。3.前馈和损失函数神经网络的损失函数公式：h_θ(x)就是模型中的输出，手写数字分为十类所以K=10，原本的标签维度是（5000,1），需要转化为（5000,10）才能够参与运算，若标签是n，则将第n行置1，其余行置0。...

第一部分 多分类问题题目介绍：使用逻辑回归识别0到9的手写数字数据集：5000个手写数字的训练样本，每一个训练样本都是20像素×20像素的灰度图像的数字，每个像素由一个表示该位置灰度强度的点编号表示，这个20x20的像素网格被“展开”成一个400维的向量。每一个训练样本都是矩阵X的一行数据，这就得到了一个5000×400矩阵X，其中每一行都是一个手写数字图像的训练示例。训练集的第二部分是一个...

逻辑回归题目介绍：用现有的数据建立分类模型，通过给出的成绩，预测学生是否能够进入大学，前两维都是学生的成绩，第三维是标签，代表是否能进入大学。1.数据可视化在开始实现算法之前，将数据可视化通常是很有帮助的。这一部分代码已给出。% 分出正样本和负样本的点pos = find(y == 1);neg = find(y == 0);% 绘制plot(X(pos, 1), X(pos, ...

吴恩达机器学习第一周作业第一部分：线性回归（单变量）题目介绍：预测食品利润，第一列数据是城市的人口，第二列数据是该城市的食品利润。1.绘制数据通过可视化可以更好地理解数据。在ex1.m中已经加载了数据并且设置了X，y变量分别为人口和利润：data = load('ex1data1.txt');X = data(:, 1); y = data(:, 2);m = length(y); ...