shuiziliu1025的博客

转载请注明：http://blog.youkuaiyun.com/stdcoutzyx/article/details/9798843本篇对应斯坦福公开课的第8个视频，主要讲述了SVM（Support Vector Machine,支持向量机）的剩余部分。即核技法（Kernels）、软间隔分类器（softmargin classifier）、对SVM求解的序列最小化算法（Sequential Mini

卷积神经网络转载请注明：http://blog.youkuaiyun.com/stdcoutzyx/article/details/41596663自今年七月份以来，一直在实验室负责卷积神经网络（Convolutional Neural Network，CNN），期间配置和使用过theano和cuda-convnet、cuda-convnet2。为了增进CNN的理解和使用，特写此博文，以其与人

转载： http://blog.youkuaiyun.com/zouxy09/article/details/8775360Deep Learning（深度学习）学习笔记整理系列zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09作者：Zouxyversion 1.0  2013-04-08 声明：1）该Deep

转载：http://blog.youkuaiyun.com/zouxy09/article/details/8775524Deep Learning（深度学习）学习笔记整理系列zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09作者：Zouxyversion 1.0 2013-04-08声明：1）该Deep Lea

转载：http://blog.youkuaiyun.com/zouxy09/article/details/8775488Deep Learning（深度学习）学习笔记整理系列zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09作者：Zouxyversion 1.0 2013-04-08声明：1）该Deep Lea

转载：http://blog.youkuaiyun.com/zouxy09/article/details/8777094Deep Learning（深度学习）学习笔记整理系列zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09作者：Zouxyversion 1.0 2013-04-08声明：1）该Deep Lea

转载：http://blog.youkuaiyun.com/zouxy09/article/details/8775518Deep Learning（深度学习）学习笔记整理系列zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09作者：Zouxyversion 1.0 2013-04-08声明：1）该Deep Lea

转载：http://blog.youkuaiyun.com/zouxy09/article/details/8781396Deep Learning（深度学习）学习笔记整理系列9.3、Restricted Boltzmann Machine (RBM)限制波尔兹曼机       假设有一个二部图，每一层的节点之间没有链接，一层是可视层，即输入数据层（v)，一层是隐藏层(h)，如果假设所

转载：http://blog.youkuaiyun.com/zouxy09/article/details/8781543Deep Learning（深度学习）学习笔记整理系列9.5、Convolutional Neural Networks卷积神经网络       卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结

Deep Learning（深度学习）学习笔记整理系列十、总结与展望1）Deep learning总结      深度学习是关于自动学习要建模的数据的潜在（隐含）分布的多层（复杂）表达的算法。换句话来说，深度学习算法自动的提取分类需要

这两种算法都是常见的分类算法，从目标函数来说，区别在于logistic回归采用的是log对数损失函数L(Y,P(Y|X))=-log(P(Y|X))，SVM采用的是hingle loss.损失函数的目的都是增加对分类影响较大的数据点的权重，减小对分类影响小的数据点的权重。 SVM只考虑support vectors，也就是和分类最相关的少数点，去学习分类器。而logistic回归通过非线性映射，大

转载自：http://blog.youkuaiyun.com/zouxy09/article/details/24971995/#comments 机器学习中的范数规则化之（一）L0、L1与L2范数zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊

机器学习中的范数规则化之（二）核范数与规则项参数选择zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09上一篇博文，我们聊到了L0，L1和L2范数，这篇我们絮叨絮叨下核范数和规则项参数选择。知识有限，以下都是我一些浅显的看法，如果理解存在错误，希望大家不吝指正。谢谢。三、核范数核范数||W||*是指矩阵奇异值的和，英文称呼叫Nuclear Norm。这个相对于上面火热

转载：http://blog.youkuaiyun.com/stdcoutzyx/article/details/27368507本文对应公开课的第13个视频，这个视频仍然和EM算法非常相关，第12个视频讲解了EM算法的基础，本视频则是在讲EM算法的应用。本视频的主要内容包括混合高斯模型（Mixture of Gaussian, MoG）的EM推导、混合贝叶斯模型（Mixture of Naive Bay

转载请注明：http://blog.youkuaiyun.com/stdcoutzyx/article/details/37559995本文是《斯坦福ML公开课笔记13A》的续篇。主要讲述针对混合高斯模型的问题所采取的简单解决方法，即对假设进行限制的简单方法，最后引出因子分析模型（Factor Analysis Model），包括因子分析模型的介绍、EM求解等。

转载请注明：http://blog.youkuaiyun.com/xinzhangyanxiang/article/details/9722701本篇笔记针对斯坦福ML公开课的第6个视频，主要内容包括朴素贝叶斯的多项式事件模型（MultivariateBernoulli Event Model）、神经网络（Neural Network）、支持向量机（Support Vector Machine）的函数

转载请注明：http://blog.youkuaiyun.com/xinzhangyanxiang/article/details/9207047最近在看Ng的机器学习公开课，Ng的讲法循循善诱，感觉提高了不少。该系列视频共20个，每看完一个视频，我都要记录一些笔记，包括公式的推导，讲解时候的例子等。按照Ng的说法，公式要自己推理一遍才能理解的通透，我觉得自己能够总结出来，发到博客上，也能达到这个效果

本篇是ML公开课的第10个视频，上接第9个视频，都是讲学习理论的内容。本篇的主要内容则是VC维、模型选择(Model Selection)。其中VC维是上篇笔记中模型集合无限大时的扩展分析；模型选择又分为交叉检验(Cross Validation)和特征选择(FeatureSelection)两大类内容。

转载：http://blog.youkuaiyun.com/xinzhangyanxiang/article/details/9101621最近在看Ng的机器学习公开课，Ng的讲法循循善诱，感觉提高了不少。该系列视频共20个，每看完一个视频，我都要记录一些笔记，包括公式的推导，讲解时候的例子等。按照Ng的说法，公式要自己推理一遍才能理解的通透，我觉得自己能够总结出来，发到博客上，也能达到这个效果，希望

转载请注明：http://blog.youkuaiyun.com/xinzhangyanxiang/article/details/9774135本篇笔记针对ML公开课的第七个视频，主要内容包括最优间隔分类器（Optimal Margin Classifier）、原始/对偶问题（Primal/Dual Problem）、svm的对偶问题，都是svm（support vector machine，支持向

转载请注明：http://blog.youkuaiyun.com/xinzhangyanxiang/article/details/9113681最近在看Ng的机器学习公开课，Ng的讲法循循善诱，感觉提高了不少。该系列视频共20个，每看完一个视频，我都要记录一些笔记，包括公式的推导，讲解时候的例子等。按照Ng的说法，公式要自己推理一遍才能理解的通透，我觉得自己能够总结出来，发到博客上，也能达到这个效果

本篇与前面不同，主要内容不是算法，而是机器学习的另一部分内容——学习理论。主要包括偏差/方差（Bias/variance）、经验风险最小化（Empirical Risk Minization，ERM）、联合界（Union bound）、一致收敛（Uniform Convergence）。Ng对学习理论的重要性很是强调，他说理解了学习理论是对机器学习只懂皮毛的人和真正理解机器学习的人的区别。

转载请注明：http://blog.youkuaiyun.com/xinzhangyanxiang/article/details/9285001该系列笔记1-5pdf下载请猛击这里。本篇博客为斯坦福ML公开课第五个视频的笔记，主要内容包括生成学习算法（generate learning algorithm）、高斯判别分析（Gaussian DiscriminantAnalysis，GDA）、

本文对应ML公开课的第11个视频。前半部分仍然是讲学习理论的内容，后半部分主要讲述一些在具体应用中使用ML算法的经验。学习理论的内容包括贝叶斯统计和正则化(Bayesianstatistics and Regularization)、在线学习(OnlineLearning)。ML经验包括算法的诊断(Diagnostics for debugging learning algorithms)、误

转载：http://blog.youkuaiyun.com/stdcoutzyx/article/details/38037659斯坦福ML公开课笔记15我们在上一篇笔记中讲到了PCA(主成分分析)。PCA是一种直接的降维方法，通过求解特征值与特征向量，并选取特征值较大的一些特征向量来达到降维的效果。本文继续PCA的话题，包括PCA的一个应用——LSI(Latent Semanti

转载：http://blog.youkuaiyun.com/stdcoutzyx/article/details/37568225上一篇笔记中，介绍了因子分析模型，因子分析模型使用d维子空间的隐含变量z来拟合训练数据，所以实际上因子分析模型是一种数据降维的方法，它基于一个概率模型，使用EM算法来估计参数。本篇主要介绍PCA(Principal Components Analysis, 主成

公开课系列的pdf文档已经上传到csdn资源，下载请猛击这里。本文对应斯坦福ML公开课的第12个视频，第12个视频与前面相关性并不大，开启了一个新的话题——无监督学习。主要内容包括无监督学习中的K均值聚类(K-means)算法，混合高斯分布模型(Mixture of Gaussians, MoG)，求解MoG模型的EM算法，以及EM的一般化形式，在EM的一般化形式之前，还有一个小知识点，即

转载自：http://blog.youkuaiyun.com/w28971023/article/details/8240756GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SV