Machine learning
关注
分享
扫一扫
文章平均质量分 84
a635661820
这个作者很懒，什么都没留下…
展开
-
7 Support vector machine(2)
本集内容1.最优间隔分类器2.原始优化、对偶优化3.KTT条件4.SVM dual5.核方法(kernels)最优间隔分类器上一节里面介绍了函数间隔，几何间隔，我们知道要想获得一个好的模型，必须使这些间隔最大化，我们用如下定义最优间隔分类器：这里是选的 最优化的目标是几何间隔，并且满足||w|| = 1，且该几何间隔是所有原创 2015-02-11 08:03:12 · 1035 阅读 · 0 评论 -
3 Locally weighted linear regression, logistic Regression
本集课程内容 1. 局部加权线性回归 Locally weighted linear regression2. 线性回归的解释 Probabilistic interpretation3. logistic 回归4. 感知器的学习算法The perceptron learning algorithm 模型中常见问题 1.欠拟合(underfitting)原创 2015-02-07 11:21:49 · 1456 阅读 · 0 评论 -
6 Support vector machine(1)
本集内容1.事件模型2.神经网络简单介绍3.支持向量机(上)事件模型多值伯努利事件模型在前面介绍的一个垃圾邮件分类的例子中，输入特征的分向量要么取0或1，即p(x|y)中的x是服从伯努利分布的，这样的朴素贝叶斯算法叫做多值伯努利事件模型多项式事件模型上面的垃圾邮件分类器的特征并没有完全描述邮件的性质，比原创 2015-02-09 16:15:23 · 848 阅读 · 0 评论 -
1 Machine Learning Summary
课程前言1.机器学习可以看到是很跨领域的，神经学，自然语言处理，等等，机器学习的实用性非常广2.课程中的作业需要用到MATLAB软件编写实现一些学习算法，但是正版需要收费，OCTAVE是免费的，提供了一些跟MATLAB差不多的功能，但总的来说功能要少一些，不过对这门课程来说够用了 。课程内容一.机器学习定义(Machine Learning Definition)Arthu原创 2015-01-28 10:43:31 · 1057 阅读 · 0 评论 -
10 Cross validation, VC dimension
本集内容1. VC维2. 交叉验证3. 特征选择VC维和关于无限假设类的情况上一节推导了由ERM选择出来的假设的一般误差与最好假设的一般误差的关系，即下面这个不等式，成立的概率至少是1-δ但是这一系列的推导都是假设我们的假设类是有限的，大小为k，待会儿会把一些结论推广到无限类情况。现在先假设一个假设类H有d个参数，就是原创 2015-02-15 14:57:19 · 1326 阅读 · 0 评论 -
9 empirical risk minimization(ERM)
本集内容1. 偏差/方差(Bias/variance)2. 经验风险最小化(empirical risk minimization (ERM))3. 联合界引理union bound/Hoeffding不等式4. 一致收敛(uniform convergence)开篇Andrew Ng[大概]: To me what really separeates th原创 2015-02-14 10:29:35 · 3425 阅读 · 0 评论 -
8 Support vector machine(3)
本集内容1. 核函数(kernels)2. 软间隔(Soft Margin)3. SMO算法核函数特征映射首先在前面第三节内容中，有一个面积—房价关系的例子，如果只考虑面积一个特征，那么我们用线性规划得到的结果是一条直线，但事实上这条直线的表现是欠拟合的。更符合实际情况的或许是一个二次曲线，那么要从一个特征通过线性规划得到一个回归结果原创 2015-02-13 09:13:34 · 1068 阅读 · 0 评论 -
5 Generative Learning algorithms ,Discriminative algorithm
本集课程内容 1.生成学习算法2.高斯判别分析(GDA)3.判别学习与生成学习的对比4.朴素贝叶斯5.Laplace平滑 生成学习算法与判别学习算法 像前面的介绍的线性回归模型，逻辑回归，softmax回归等都是对P(y | x)进行建模得到的，这种方式叫做判别学习算法滑；如果是直接对特征进行建模的，即对P(x | y)(包含P(y))这样的原创 2015-02-08 19:57:23 · 965 阅读 · 0 评论 -
4 Generalized linear models
课程内容1.牛顿方法 2.指数族 3.广义线性模型牛顿方法一个问题的引入对于一个函数f(θ)如何找到θ使得f(θ) = 0? 牛顿方法可以用来解决这个问题，图解描述如下：先找一个初始的θ,过点(θ, f(θ))做曲线的切线，并且与x轴交的一点便是新的θ，这个新的θ记为θ^(1),初始的θ记为θ^(0)，斜率记为f'原创 2015-02-07 17:19:38 · 1128 阅读 · 0 评论 -
2 Linear Regression, Gradient descent
本集课程内容1.线性回归 Linear Regression2.梯度下降 Gradient descent3.正规方程组 the normal equations问题引入课程开始介绍了一个自动驾驶的例子，里面所用到的算法就是有监督的学习(驾驶员提供正确的答案供汽车开始学习)，其实这是一个回归问题，因为该算法输出代表着汽车的方向，是一个连续值。本集课程原创 2015-02-01 08:52:40 · 1117 阅读 · 0 评论