xueluowutong的博客

《机器学习&&深度学习》 视频课程资源百度云下载。  林轩田：机器学习基石  链接：http://pan.baidu.com/s/1qXSKZP64 密码：dwie 林轩田：機器學習技法 (Machine Learning Techniques) 链接：http://pan.baidu.com/s/1i5I0kZj3 密码：zwce andrew Ng视频课程和讲义 链接：ht...

由于神经网络代价函数的梯度过多，计算中出现偏差的可能性大，下面为梯度检查的过程：    

一、Evaluating a Hypothesis（评估假设） 即使我们已经实现了某种算法，但是我们可能会发现这种算法存在很大的问题，这就涉及到了模型的选择和改进。 在模型选择之前，我们先来看些该如何评估一个模型。 对于有2个特征的假设函数来说，我们很容易通过画图来判断它是否过拟合，下图就是典型的过拟合情况： 这是特征变量比较少的情况，我们可以很容易看出这是过拟合的情况。那如果是特征变...

一、Diagnosing Bias vs. Variance（诊断偏差 vs. 方差） 如果一个算法表现的不理想，多半是出现两种情况，一种情况是偏差比较大（这种情况是欠拟合情况），另一种是方差比较大（这种情况是过拟合的情况）。下图是欠拟合、刚好、过拟合三种情况的Size-price图（仍然是预测房价的示例）。 那么，多项式的次数对cv误差的影响是什么呢？ 上图展示了训练误差、验证误差的...

一、Developing and Evaluating an Anomaly Detection System（异常检测系统的衡量指标） 对于某一算法，我们可以通过借助某些数字指标来衡量算法的好坏，仍旧以飞机引擎的例子来说： 假设有10000个正常的引擎，20个有瑕疵的引擎（异常） 我们将这些 引擎分为以下数据集： 训练集：使用6000个正常的引擎（y=0） 交叉验证集：使用2000个正...

一、Multivariate Gaussian Distribution（多元高斯分布） 数据中心例子：   因为上面的原因，会带来一些误差，因此我们引入了改良版的算法： 我们不再单独地将p(x1)，p(x2)，p(x3)训练模型，而是将这些参数都放在一个模型里， 下面用几张图形象的看一下高斯分布： 图一：μ取在原点，改变的值   图二：μ取在原点，改变左下-右上方向的值。 ...

符号介绍： 对于每一个用户j，假设我们已经通过学习找到参数，则用户j对电影i的评分预测值为：。   对于上面的例子：                                                          假设已知：                                     则Alice（j=1）对Cute pupies of lov...

一、Collaborative Filtering（协同过滤） 协同过滤能够自行学习所需要使用的特征。 来看下面的例子： 在之前讲的基于内容的推荐系统中，我们需要事先建立特征并知道特征值，这是比较困难的。 假设我们某一用户的喜好，即假如Alice、Bob喜欢romance的电影，carol、Dave喜欢action的电影，则：                        就拿Alice来...

SVM(支持向量机)： 支持向量机算法可以看作是逻辑回归算法的 强化：通过给予逻辑回归算法更严格的优化条件， 支持向量机算法可以获得比逻辑回归更好的分类界线。通过和高斯核函数的结合，支持向量机可以 表达出非常复杂的分类界线，从而达成很好的分类效果。"核"事实上就是一种特殊的函数，最典型的特征 就是可以将低维的空间映射到高维空间。如下图所示：                        ...

一、Vectorization: Low Rank Matric Factorization（向量化： 低秩矩阵分解） 我们仍然使用之前movie的例子： 将这些数据写成矩阵的形式，即右边的Y矩阵，又因为用户j对电影i的评分预测值为： 因此Y矩阵对应的预测值应为：                                                我们记：       ...

一、Cost Function(代价函数) 1、首先介绍两个术语：L和 （1）L是神经网络的层数 （2）是指第L层的单元数目(不包括偏置神经元) 上图是二元分类和多元分类中K值和SL的比较 2、下图为神经网络代价函数和逻辑回归代价函数 神经网络代价函数和逻辑回归代价函数的区别是将假设函数h(x)输出的每一个元素都加起来。 注：在加法过程 中，公式下标从1开始。   二、B...

本部分主要包括如下内容：       Learning With Large Datasets (大数据集训练模型)       Stochastic Gradient Descent (随机梯度下降算法)       Mini-Batch Gradient Descent (小批量梯度下降算法)       Stochastic Gradient Descent Convergence ...

一、Problem Motivation（问题引入） 异常检测一般应用在非监督学习的问题上，如图，我们可以通过已知的数据集，训练模型 根据此模型进行异常检测： 在使用这些数据训练的过程中，我们假设这些数据是正常的。 我们可以把异常检测应用在网站欺诈预测上，比如可以根据用户平时的打字速度，登录地点，登录时间，下单次数等预测是否用户登录情况异常等，也可以用于工业界或者根据CPU利用率，Me...

1、梯度下降法的基本思想 梯度下降法的基本思想可类比为一个下山的过程。假设一个场景：一个人困于山上，需要 从山上下来（即到山的最低谷）。 此时山上有大雾，看不见下山的路，他必须利用自己的脚 去探索下山的路。这时候，他就可以利用梯度下降算法来帮助自己下山。他能以当前所处位置为  基准，寻找这个位置最陡峭的方向，然后朝着山的高度下降的方向走；反之如果我们要上山，我  朝着山最陡峭的位置向上走...

介绍： 准确率（Precision）、召回率（Recall）、F值（F-Measure）是数据挖掘、机器学习 和推荐系统中的评测指标。 下图是不同机器学习算法的评价指标： 本文的对象是二元分类器！ 在 介绍评价指标必须了解“混淆矩阵” 混淆矩阵 True Positive(真正，TP)：将正类预测为正数类 True Negative(真负，TN)：将负类预测为负类数 Fals...

一、Optimization Objective（SVM优化目标） 在logistic回归模型中，g(z)=1/(1+e^(-z)),其函数图像如下： 在这基础上，若logistic回归只有一个样本，则Cost函数如下图所示： （1）在y=1的情况下，只剩下Cost的左边一项，当y=0时，只剩下Cost的右边一项，其对应的图形如上图中的平滑曲线。 （2）我们在logistic曲...

一、Kernels I（核函数I） 在非线性函数中，假设函数为： 将表达式改变一下，将其写为： 联想到上次讲到的计算机视觉的例子，因为需要很多像素点，因此若f用这些高阶函数表示，则计算量将会很大，那么对于我们有没有更好的选择呢? 由此引入核函数的概念。 对于给定的x， 其中，similarity()函数叫做核函数（kernel function）又叫做高斯核函数，其实就...

Using SVM in Practice(SVM在实践中的应用) 在实际应用中，并不推荐 自己写SVM的算法，可以使用别人已经写好的，那我们需要做什么呢？ 如下图： 对于核函数的选型，我们一般会选择线性核函数和高斯核函数。  一般情况下，我们需要自己提供核函数，必要的时间需要做归一化： 其他核函数的选择？ 多元分类中SVM算法的应用： logistic回归算法、神经...

一、Unsupervised Learning: Introduction（非监督学习简介） 之前介绍的线性回归、logistic回归以及神经网络等都是监督学习的例子，通过给出一系统样本，通过这些样本去训练模型进行预测，在这些样本中，是包含y标签的，即实际值。 在非监督学习中，我们给一系列样本数据，在这些数据中，区别于监督学习最明显的特征便是没有这些实际值，我们通过聚类或者其他方式去将这些样本...

一、Motivation I: Data Compression（动因I：数据压缩） 下面是2个降维处理的实例： 实例1：将cm和inch的2维数据降成1维数据： 实例2：降3维数据降成2维数据： 二、Motivation II: Visualization（动因II：可视化） 对于数据集的可视化，假设数据集本身有n的feature，我们想要可视化这个数据集，则需要进行降维处理，...

一、Principal Component Analysis Problem Formulation（主成分分析构思） 首先来看一下PCA的基本原理： PCA会选择投影误差最小的一条线，由图中可以看出，当这条线是我们所求时，投影误差比较小，而投影误差比较大时，一定是这条线偏离最优直线。 PCA的方向： 从图上的分析，我们可能很疑惑PCA和线性回归如此地相似，那么两者是一回事吗？下面...

一、Reconstruction from Compressed Representation（压缩特征的复原） 本部分主要讲我们如何将已经压缩过的特征复原成原来的，如下图： 左边的二维图是未缩减维数之前的情况，下面的一维图是利用缩减之后的情况，我们利用公式可以得到x的近似值，如右图，点全部在直线上，虽然有一定的误差， 但是是大致相等的。   二、Choosing the Number...

在opencv3.0中，提供了一个ml.cpp的文件，这里面全是机器学习的算法，共提供了这么几种： 1、正态贝叶斯：normal Bayessian classifier     2、K最近邻：k nearest neighbors classifier 3、支持向量机：support vectors machine     4、决策树： decision tree 5、ADA Boos...