Jupiker的博客

Week 5回归问题（Regression）回归是对连续型的数据做出处理，回归的目的是预测数值型数据的目标值。一般是要得出回归方程，求得回归系数的过程就叫做回归。这一节的回归，都是指的线性回归。一、用线性回归找到最佳拟合直线线性回归 原理线性回归和矩阵的求逆假定输入数据存放在矩阵 x 中，而回归系数存放在向量 w 中。那么对于给定的数据 X1，预测结果将会通过 Y = X1...

Week 4AdaBoost（adaptive boosting【自适应 boosting】）adaboost 运行过程训练数据中的每个样本，并赋予其一个权重，这些权重构成了向量D。一开始，这些权重都初始化成相等值。首先在训练数据上训练出一个弱分类器并计算该分类器的错误率，然后在同一数据集上再次训练弱分类器。在分类器的第二次训练当中，将会重新调整每个样本的权重，其中第一次分对的样本的权重将会...

Week 3支持向量机（Support Vector Machine，SVM）下面介绍支持向量机，首先我们提出几个问题：什么是SVM？首先，支持向量机不是一种机器，而是一种机器学习算法。SVM - Support Vector Machine ，俗称支持向量机，是一种 supervised learning（监督学习）算法，属于 classification（分类）的范畴。在数据挖...

Week 2Logistic回归（逻辑回归）Logistic 回归或者叫逻辑回归，虽然名字有回归，但是它是用来做分类的。其主要思想是: 根据现有数据对分类边界线(Decision Boundary)建立回归公式，以此进行分类。这也是一种最优化方法。Sigmoid 函数回归：假设现在有一些数据点，我们用一条直线对这些点进行拟合（这条直线称为最佳拟合直线），这个拟合的过程就叫做回归。从而可以...

Week 2基于概率论的分类方法： 朴素贝叶斯贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。我们首先介绍贝叶斯分类算法的基础——贝叶斯定理。最后，我们通过实例来讨论贝叶斯分类的中最简单的一种: 朴素贝叶斯分类。贝叶斯理论假设我们现在有一个数据集，它由两类数据组成，数据分布如下图所示：我们现在用 p1(x,y) 表示数据点 (x,y) 属于类别 1（图...

Week 1决策树（Decision Tree）决策树（Decision Tree）算法是一种基本的分类与回归方法，是最经常使用的数据挖掘算法之一。我们这章节只讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是 if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。决策树学习通常包括 3 个步骤：特征选择、决策...

Week 1k-近邻算法（kNN算法）kNN算法采用测量不同特征值之间的距离方法进行分类。kNN算法的优点是精度高、对异常值不敏感、无数据输入假定。 缺点是计算复杂度高、空间复杂度高。 其适用数据范围是数值型和标称型。kNN算法的工作原理：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新...