一个小硕的二亩三分地

VC dimensionModel selection cross validationfeature selectionBayesian statistics1.VC dimension概念： 所需要的训练样本的个数m近似线性于H的参数个数。2.Model selection2.1cross validation 当k=m时，称作leave-one-out cross

Learing Theory该部分主要让我们对机器学习算法有一定的认知分析能力，而不是只知道如何调取函数，成为调包侠。对算法提前进行分析可以提高研究效率。1.bias-variance tradeoff参考线性回归，偏差方差权衡 bias：可以认为是generalization error,即样本集的训练误差。当欠拟合时，bias偏大 variance：当训练得到的模型迁移到另外一组样本时，得到

—kernal—soft margin—SMO algorithm1.kernalsinput attributes:原始输入数据 features:经过ϕ(x)\phi(x)将attributes映射到高维空间后，传递到算法中的数据 ie. 因为SVM算法可以通过计算内积来计算估计值，那么映射到高维之后的内积我们可以用<ϕ(x),ϕ(z)><\phi(x),\phi(z)>表示，因此我们

Support vector machinesSVM是监督性学习中属于基于“距离隔板”一类，该方法被认为是其中效果最好的方法之一。为了介绍SVM首先介绍margin和利用距离大小分离数据的概念。然后介绍optimal margin classier，中间会使用到拉格朗日对偶。此外我们会介绍kernal，它能使SVM算法在高维特征空间上更加有效率。最后我们将介绍SMO优化算法，用于高效地SVM算法进

Generative Learning algorithms因为我们想直接得到p(y|x)，因此引入介绍Generative Learning algorithms。 根据贝叶斯准则，我们可以对分类问题分析建立模型： 我们的最终的分类结果是选择后验概率最大的y 1.Gaussian discriminant analysis1.1 The multivariate normal dis

牛顿方法，一种最大（小）化算法—–Newton’s method算法原理，对函数f(θ\theta)，使用下式进行迭代： 最终θ\theta的收敛值会使得f(θ\theta)=0，图像只管理解如下，详细介绍在note1 page20： 对于最大化问题，我们应当使目标函数的导数为0，因此f(θ\theta)在这里为目标函数的一阶导数ℓ′(θ)： 在逻辑回归中，θ\theta为向量，因

1.局部权重线性回归（自译）—–Locally weighted linear regression在介绍该中线性回归方法之前，先引入一些概念： - 欠拟合（underfitting）:对训练特征的复杂度或者说特征空间的维度估计过低，导致拟合效果不足的现象 - 过拟合（overfitting）:训练特征的复杂度或者说特征空间的维度估计过高，导致过分拟合的结果 因为两种拟合都不能得到

1. 最小均方误差算法h(x)h(x) 为目标函数 θ\theta 为参数parameters xnx_{n}为特征 nn为特征个数 mm为训练集的个数 则在线性假设下 h(x)=hθ(x)=θ0+θ1∗x1+θ2∗x2+...+θn∗xnh(x)=h_{\theta }(x)=\theta _{0}+\theta _{1}*x_{1}+\theta _{2}*x_{2}+...+\t

课件资源：网易公开课 讲师：Andrew Ng （Stanford）简介：机器学习是指让计算机在不须特定的编程下，获得学习并解决问题的能力。机器学习在过去的20年飞速发展，成为多个学科的热门，同时应用于多个领域（机器人，人工智能，数据挖掘，计算机视觉等）。课程目标：在学习完课程后能够将机器学习算法应用到自己感兴趣的问题中或者项目中。内容：授课，讨论，作业，p