BlueLoveyyt的专栏

课程分为四部分1.      Supervised Learning 监督学习， 事先有一个标准，进行训练，去获得结果。如分类算法，回归算法2.      Learning theory 学习理论3.      Unsupervised Learning 无监督学习，事先没有一个标准，进行训练，获得结果。4.      Reinforcement Learning 加强学习，

本篇与前面不同，主要内容不是算法，而是机器学习的另一部分内容——学习理论。主要包括偏差/方差（Bias/variance）、经验风险最小化（Empirical Risk Minization，ERM）、联合界（Union bound）、一致收敛（Uniform Convergence）。Ng对学习理论的重要性很是强调，他说理解了学习理论是对机器学习只懂皮毛的人和真正理解机器学习的人的区别。

3:SMO算法 a:坐标上升算法（coordinate assent algorithm）由于种种原因，同时优化所有变量不太可能，为了得到全局最优，一次只优化一个变量，而保持其他变量不动的方法。这种方法可行的原因是通常优化一个变量的效率高且算法会比较容易实现。特别地，当只有x，y两个变量的时候，优化的过程如下图：图中的直线迭代优化的路径，可以看到每一步都会朝着最优解前进一小

2.3、使用松弛变量处理 outliers 方法    在本文第一节最开始讨论支持向量机的时候，我们就假定，数据是线性可分的，亦即我们可以找到一个可行的超平面将数据完全分开。后来为了处理非线性数据，在上文2.2节使用 Kernel 方法对原来的线性 SVM 进行了推广，使得非线性的的情况也能处理。虽然通过映射  将原始数据映射到高维空间之后，能够线性分隔的概率大大增加，但是对于某些情况还是

2.2、核函数Kernel2.2.1、特征空间的隐式映射：核函数    咱们首先给出核函数的来头：在上文中，我们已经了解到了SVM处理线性可分的情况，而对于非线性的情况，SVM 的处理方法是选择一个核函数 κ(⋅,⋅) ，通过将数据映射到高维空间，来解决在原始空间中线性不可分的问题。    此外，因为训练样例一般是不会独立出现的，它们总是以成对样例的内积形式出现，而

最优间隔分类器问题本次课程大纲：1、 最优间隔分类器2、 原始优化问题&对偶优化问题（KKT条件）3、 SVM对偶问题4、 核方法（下一讲） 复习：支撑向量机中改动的符号：输出y∈{-1,+1}h输出的假设值也改为{-1,+1}g(z) = { 1 , 如果z>=0;  -1, 如果zhw.b(x)=g

SVM是Support Vector Machine的缩写，中文翻译为“支持向量机”，由Vapnik在1992年首次提出，是一种监督学习分类算法。它将n维空间上的点用n-1维超平面分隔，并且使得不同类型的点到该超平面的距离最大。一、   决策边界（Decision boundary）在处理机器学习的分类问题时，一条超曲面将样本划分为两个不同的部分，每个部分即是各代表一个类，

前面讨论了高斯判别分析，是一种生成学习算法，其中x是连续值 这里要介绍第二种生成学习算法，Naive Bayes算法，其中x是离散值的向量 这种算法常用于文本分类，比如分类垃圾邮件首先，如何表示一个文本，即x？ 以上面这种向量来表示，字典中的词是否在该文本中出现 其中每个词，可以看作是一个特征，对于特征的选取，可以过滤到stop word，或只选取出现多次的值。。。

BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。一个神经网络的结构示意图如下所示。BP神经网络模型拓扑结构包括输入层（input）、隐层

生成学习算法本次课程大纲：1、 生成学习算法2、 高斯判别分析（GDA，Gaussian Discriminant Analysis）-          高斯分布（简要）-          对比生成学习算法&判别学习算法（简要）3、 朴素贝叶斯4、 Laplace平滑 复习：分类算法：给出一个训练集，若使用logi

什么是逻辑回归？Logistic回归与多重线性回归实际上有很多相同之处，最大的区别就在于它们的因变量不同，其他的基本都差不多。正是因为如此，这两种回归可以归于同一个家族，即广义线性模型（generalizedlinear model）。这一家族中的模型形式基本上都差不多，不同的就是因变量不同。如果是连续的，就是多重线性回归；如果是二项分布，就是Logistic回归；

回归问题的条件/前提：1） 收集的数据2） 假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。然后利用这个模型去预测/分类新的数据。1. 线性回归假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。收集的数据中，每一个分量，就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性

2014-10-20 11:16 1148人阅读 评论(0) 收藏 举报                                              回归分析之我见1.概述    本文主要是介绍回归方面的知识，属于监督性学习。方法的核心思想：从离散的统计数据中得到模型，然后将模型用于预测或者分类（数据可以是多维）。2.问题的引入   假设我

欠拟合与过拟合概念本次课程大纲：1、   局部加权回归 ：线性回归的变化版本2、   概率解释 ：另一种可能的对于线性回归的解释3、   Logistic 回归 ：基于 2 的一个分类算法4、   感知器算法 ：对于 3 的延伸，简要讲 复习：  – 第 i 个训练样本令  ，以参数向量  为条件，对于输入 x ，输出为：

在本节中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签  可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的，该问题的目的是辨识10个不同的单个数字。Softmax回归是有监督的，不过后面也会介绍它与深度学习/无监督学习方法的结合。（译者注： MNIST 是一个手写数字识别库，由NYU 的Y

给出的数据是40个被大学接收的学生和40个被拒绝的学生的数据，输入是一个二维向量，表示2门科目成绩，输出是一个分类结果（接收、拒绝），用0和1表示。        首先，我们要知道logistic regression的假设函数为：            这个假设函数是估计在参数为theta下，输入x被预测为1的概率。这个函数是sigmoid函数，是神经网络中的常用的一种激活函数。

本篇是ML公开课的第10个视频，上接第9个视频，都是讲学习理论的内容。本篇的主要内容则是VC维、模型选择(Model Selection)。其中VC维是上篇笔记中模型集合无限大时的扩展分析；模型选择又分为交叉检验(Cross Validation)和特征选择(FeatureSelection)两大类内容。