Liu_LongPo的专栏

机器学习(Machine Learning)&深度学习(Deep Learning)资料機器學習、深度學習方面不錯的資料，轉載。原作：https://github.com/ty4z2008/Qix/blob/master/dl.md原作作者會不斷更新，本文更新至2014-12-21《Brief History of Machine Lea

【原创】Liu_LongPo 转载请注明出处【优快云】http://blog.youkuaiyun.com/llp1992GMM算法GMM ，Gaussian Mixture Model，顾名思义，就是说该算法由 多个高斯模型线性叠加 混合而成。每个高斯模型我们称之为 component 。GMM算法描述的是数据的本身存在的一种分布，如果component足够多的话，GMM可以逼近任意一种概率密度分布，但是此

【原创】Liu_LongPo 转载请注明出处 【优快云】http://blog.youkuaiyun.com/llp1992AdaBoost算法是基于单层决策树等弱分类算法的强学习分类算法。单层决策树算法也是一种分类算法，但是其分类效果较差，只根据一个特征进行数据划分，因此单层决策树算法被称为弱分类算法；而AdaBoost算法通过将多个弱分类算法串行训练而成，属于强分类算法。AdaBoost算法是boost

数据库介绍开发工具网络框架训练结果训练要点激活函数Dropout 的作用训练代码 【原创】Liu_LongPo 转载请注明出处【优快云】http://blog.youkuaiyun.com/llp1992数据库介绍Cifar-10是由Hinton的两个大弟子Alex Krizhevsky、Ilya Sutskever收集的一个用于普适物体识别的数据集。 Cifar-10由60000张32*

神经网络神经网络模型前向传播反向传播Neural Networds Tips and TricksGradient CheckRegularization激活函数sigmoid 函数TanhRelu稀疏编码卷积神经网络卷积局部感知权值共享多通道卷积卷积输出大小计算公式池化pooling后的平移不变性DropoutLearning rateAdaGrad p

什么叫做回归呢？举个例子，我们现在有一些数据点，然后我们打算用一条直线来对这些点进行拟合（该曲线称为最佳拟合曲线），这个拟合过程就被称为回归。利用Logistic回归进行分类的主要思想是： 根据现有数据对分类边界线建立回归公式，以此进行分类。这里的”回归“一词源于最佳拟合，表示要找到最佳拟合参数集。训练分类器时的嘴阀就是寻找最佳拟合曲线，使用的是最优化算法。基于Logistic回归和Sigmo

介绍机器学习算法KNN，并提供matlab，python实例，提供手写识别系统matlab完整代码

PCA 算法也叫主成分分析（principal components analysis），主要是用于数据降维的。为什么要进行数据降维？因为实际情况中我们的训练数据会存在特征过多或者是特征累赘的问题，比如：一个关于汽车的样本数据，一个特征是”km/h的最大速度特征“，另一个是”英里每小时“的最大速度特征，很显然这两个特征具有很强的相关性拿到一个样本，特征非常多，样本缺很少，这样的数据用回归去你和将

前面我们在是实现K-means算法的时候，提到了它本身存在的缺陷： 1.可能收敛到局部最小值 2.在大规模数据集上收敛较慢对于上一篇博文最后说的，当陷入局部最小值的时候，处理方法就是多运行几次K-means算法，然后选择畸变函数J较小的作为最佳聚类结果。这样的说法显然不能让我们接受，我们追求的应该是一次就能给出接近最优的聚类结果。其实K-means的缺点的根本原因就是：对K个质心的初始选

K-means算法属于无监督学习聚类算法，其计算步骤还是挺简单的，思想也挺容易理解，而且还可以在思想中体会到EM算法的思想。K-means 算法的优缺点： 1.优点：容易实现 2.缺点：可能收敛到局部最小值，在大规模数据集上收敛较慢使用数据类型：数值型数据以往的回归算法、朴素贝叶斯、SVM等都是有类别标签y的，因此属于有监督学习，而K-means聚类算法只有x，没有y在聚类问题中，我们的

【原创】Liu_LongPo 转载请注明出处 【优快云】http://blog.youkuaiyun.com/llp1992softmax 回归模型，是logistic 回归模型在多分类问题上的推广。关于logistic回归算法的介绍，前面博客已经讲得很清楚，详情可以参考博客机器学习实战ByMatlab（五）Logistic Regression 在logistic回归模型中，我们的激励函数sigmoid的

【原创】Liu_LongPo 转载请注明出处 【优快云】http://blog.youkuaiyun.com/llp1992在有监督学习中，训练样本是有类别标签的。现在假设我们只有一个没有带类别标签的训练样本集合 {x(1),x(2),x(3),...x^{(1)},x^{(2)},x^{(3)},...},其中 x(i)∈Rx^{(i)}\in R自编码神经网络是一种无监督学习算法，它使用了反向传

【原创】Liu_LongPo 转载请注明出处 【优快云】http://blog.youkuaiyun.com/llp1992最近由于毕业论文的原因搞得学习进度有点慢，过了5月份再加快进度。DeepLearning，也就是我们所说的深度学习。深度学习是机器学习的一个分支，属于无监督学习，近年来深度学习在语音识别和图像识别等领域取得了巨大的成功。深度学习的本质，就是通过构建具有很多隐层的机器学习模型和海量的训练

【原创】Liu_LongPo 转载请注明出处 【优快云】http://blog.youkuaiyun.com/llp1992PCA算法前面在前面的博客中已经有介绍，这里简单在描述一下，更详细的PCA算法请参考我的博客： 机器学习实战ByMatlab（二）PCA算法 PCA 的主要计算步骤 1.数据预处理，使得每一维数据都有相同的均值0 2.计算数据的协方差矩阵，Σ=1m∑mi=1(x(i))(x(

在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结果只是必要条件，只有当是凸函数的情况下，才能保证是充分必要条件。KKT条件是拉格朗日乘子法的泛化。之前学习的时候，只知道直接应用两个方法，但是却不

本栏目（Machine learning）包括单参数的线性回归、多参数的线性回归、Octave Tutorial、Logistic Regression、Regularization、神经网络、机器学习系统设计、SVM（Support Vector Machines 支持向量机）、聚类、降维、异常检测、大规模机器学习等章节。所有内容均来自Standford公开课machine learning

感知机感知机模型感知机的学习策略感知机的原始形式伪代码实现代码对线性可分数据集对线性不可分数据集感知机的对偶形式伪代码代码训练过程分类效果训练误差 【原创】Liu_LongPo 转载请注明出处【优快云】http://blog.youkuaiyun.com/llp1992感知机感知机是二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别（取+1和-1）。感知机对应于输入空间