兔清风的博客

How can I become a data scientist?FAQRe-AskFollow7.7kComment1100+ ANSWERS7,708 FOLLOWERS114,145 VIEWS69 MERGED QUESTIONSEDITSQuora UserUpvoted by Ryan Fox Squire, Neuroscientist

2 拉格朗日对偶（Lagrange duality）     先抛开上面的二次规划问题，先来看看存在等式约束的极值问题求法，比如下面的最优化问题：            目标函数是f(w)，下面是等式约束。通常解法是引入拉格朗日算子，这里使用来表示算子，得到拉格朗日公式为            L是等式约束的个数。    然后分别对w和求偏导，使得偏

SVM是支持向量机从诞生至今才10多年，发展史虽短，但其理论研究和算法实现方面却都取得了突破性进展，有力地推动机器学习理论和技术的发展。这一切与支持向量机具有较完备的统计学习理论基础的发展背景是密不可分的。我看了一下网上的帖子和有关的资料，目前关于SVM大约有3到4个版本，但在网上到处都是转载的内容，最后谁也不知原稿人是谁。svm主要分有4个问题       1.问题的提出

中文简单介绍:在机器学习中，（高斯）径向基函数核（英语：Radial basis function kernel），或称为RBF核，是一种常用的核函数。它是支持向量机分类中最为常用的核函数。[1]关于两个样本x和x'的RBF核可表示为某个“输入空间”（input space）的特征向量，它的定义如下所示：[2]可以看做两个特征向量之间的平方欧几里得距离。是一个自

关于反向传播算法，很早之前就了解，但是关于细节问题一直未能理解，看了这篇翻译的文章写的很好原文：http://blog.youkuaiyun.com/shijing_0214/article/details/51923547Backpropagation算法是目前绝大多数神经网络在优化参数时用到的算法，具有快速方便容易实现的优点。那么它是如何实现的呢？首先看一张典型神经网络结构图： 

由于在网上、各种技术文档的支持下未能成功安装tensorflow环境下的spyder，所以根据我亲测成功后，有所感概，以发此文。话不多说，进入主题：首先安装Anaconda，相信大家都已经很熟悉安装步骤。1.下载anaconda 安装包，下载地址：1）https://www.continuum.io/downloads/2）https://mirrors.t

转载自哈工大SCIR（公众号） 为了弄清楚为何会出现消失的梯度，来看看一个极简单的深度神经网络：每一层都只有一个单一的神经元。下图就是有三层隐藏层的神经网络：

计算机科学中最有趣的事情之一就是编写一个人机博弈的程序。有大量的例子，最出名的是编写一个国际象棋的博弈机器。但不管是什么游戏，程序趋向于遵循一个被称为Minimax算法，伴随着各种各样的子算法在一块。   Minimax算法又名极小化极大算法，是一种找出失败的最大可能性中的最小值的算法。Minimax算法常用于棋类等由两方较量的游戏和程序，这类程序由两个游戏者轮流，每次执行

《机器学习实战》第二章k-近邻算法，自己实现时遇到的问题，以及解决方法。做个记录。1.写一个kNN.py保存了之后，需要重新导入这个kNN模块。报错：no module named kNN.解决方法：1.将.py文件放到 site_packages 目录下            2.在调用文件中添加sys.path.append("模块文件目录")；import s

Udacity机器学习纳米工程师学位课程学习笔记part1.   聚类部分：Udacity聚类部分重点介绍的是K-means聚类K-means聚类分为两个步骤：1.assign根据样本点离聚类中心点的远近将样本点进行分类（思考：如果是多分类问题，要怎样进行分类）2.optimization根据分类后的情况计算出每个类别的中心点

误差原因在模型预测中，模型可能出现的误差来自两个主要来源，即：因模型无法表示基本数据的复杂度而造成的偏差（bias），或者因模型对训练它所用的有限数据过度敏感而造成的方差（variance）。偏差造成的误差 - 精度和欠拟合如前所述，如果模型具有足够的数据，但因不够复杂而无法捕捉基本关系，则会出现偏差。这样一来，模型一直会系统地错误表示数据，从而导致

概念引用：http://blog.youkuaiyun.com/ytdxyhz/article/details/51730995在对数据进行线性回归计算之后,我们能够得出相应函数的系数, 那么我们如何知道得出的这个系数对方程结果的影响有强呢?所以我们用到了一种方法叫 coefficient of determination (决定系数) 来判断 回归方程 拟合的程度.首先我们先定义几个概念

不同方差的含义s=Σ(x−x¯)2n−−−−−−√含义：表示总体数据集的方差。 s=Σ(x−x¯)2n−1−−−−−−√含义：表示样本的方差。为什么要这样做呢？原因在于：比如在高斯分布中，我们抽取一部分的样本，用样本的方差表示 满足高斯分布的大样本数据集的方差。由于样本主要是落在x=u中心值附近，那么样本的如果用s=Σ(x−x¯)2n−−−−−−√算方差，那么预测方差一

带你搞懂朴素贝叶斯分类算法带你搞懂朴素贝叶斯分类算贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。这篇文章我尽可能用直白的话语总结一下我们学习会上讲到的朴素贝叶斯分类算法，希望有利于他人理解。1  分类问题综述 对于分类

1 前言注意两个名词的区别：相对熵：Kullback–Leibler divergence交叉熵：cross entropyKL距离的几个用途：① 衡量两个概率分布的差异。② 衡量利用概率分布Q 拟合概率分布P 时的能量损耗，也就是说拟合以后丢失了多少的信息，可以参考前面曲线拟合的思想。③ 对①的另一种说法，就是衡量两个概率分布的相似度，在运动捕捉里面可以衡量未添加标签的运动与已添加标签的运动，进...

Kaggle入门——使用scikit-learn解决DigitRecognition问题@author: wepon@blog: http://blog.youkuaiyun.com/u0121626131、scikit-learn简介scikit-learn是一个基于NumPy、SciPy、Matplotlib的开源机器学习工具包，采用Python语言编写，主要涵盖分类、回归和聚类等算法，例如knn、SVM...

转载：http://blog.youkuaiyun.com/u012162613/article/details/41929171大数据竞赛平台——Kaggle 入门篇这篇文章适合那些刚接触Kaggle、想尽快熟悉Kaggle并且独立完成一个竞赛项目的网友，对于已经在Kaggle上参赛过的网友来说，大可不必耗费时间阅读本文。本文分为两部分介绍Kaggle，第一部分简单介绍Kaggle，第二部分将展示解决一个竞...

3.1 线性不可以分我们之前讨论的情况都是建立在样例线性可分的假设上，当样例线性不可分时，我们可以尝试使用核函数来将特征映射到高维，这样很可能就可分了。然而，映射后我们也不能100%保证可分。那怎么办呢，我们需要将模型进行调整，以保证在不可分的情况下，也能够尽可能地找出分隔超平面。看下面两张图：可以看到一个离群点（可能是噪声）可以造成超平面的移动，间隔缩小，可见以前

SVM-非线性支持向量机及SMO算法线性不可分情况线性可分问题的支持向量机学习方法，对线性不可分训练数据是不适用的，为了满足函数间隔大于1的约束条件，可以对每个样本(xi,yi)引进一个松弛变量ξi≥0，使函数间隔加上松弛变量大于等于1,，yi(w⋅xi+b)≥1−ξi目标函数变为12||w||2+C∑j=1Nξi其中，C>0称为惩罚参数

Recurrent Neural Networks人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。我们的思想拥有持久性。传统的神经网络并不能做到这点，看起来也像是一种巨大的弊端。例如，假设你希望对电影中的每个时间点的时间类型进行分类。传统的神

我经常在 TopLanguage 讨论组上推荐一些书籍，也经常问里面的牛人们搜罗一些有关的资料，人工智能、机器学习、自然语言处理、知识发现（特别地，数据挖掘）、信息检索 这些无疑是 CS 领域最好玩的分支了（也是互相紧密联系的），这里将最近有关机器学习和人工智能相关的一些学习资源归一个类：首先是两个非常棒的 Wikipedia 条目，我也算是 wikipedia 的重度用户了，学习一门东西

基本概念 ｜ 入门攻略 ｜ 课程资源 ｜ 论坛网站 ｜ 东拉西扯2014-10-14版, 好东西传送门编辑整理, 原文链接 http://ml.memect.com/article/machine-learning-guide.html感谢贡献者： tang_Kaka_back@新浪微博欢迎补充指正，转载请保留原作者和原文链接。 本文是 机器学习日报的一个专题合集，欢迎订阅：请给hao

前面几篇谈了一些对数学的粗浅看法。其实，如果对某门数学有兴趣，最好的方法就是走进那个世界去学习和体验。 这里说说几本我看过后觉得不错的数学教科书。 1. 线性代数 (Linear Algebra)： 我想国内的大学生都会学过这门课程，但是，未必每一位老师都能贯彻它的精要。这门学科对于Learning是必备的基础，对它的透彻掌握是必不可少的。我在科大一年级的时候就学习了这门课，后来到了香

从机器学习谈起　　在本篇文章中，我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习，并且上手相关的实践。这篇文档也算是EasyPR开发的番外篇，从这里开始，必须对机器学习了解才能进一步介绍EasyPR的内核。当然，本文也面对一般读者，不会对阅读有相关的前提要求。　　在进入正题前，我想读者心中可能会有一个疑惑：机器学习有什么重要性，以至于

《数学之美》；作者吴军大家都很熟悉。这本书主要的作用是引起了我对机器学习和自然语言处理的兴趣。里面以极为通俗的语言讲述了数学在这两个领域的应用。《Programming Collective Intelligence》（中译本《集体智慧编程》）；作者Toby Segaran也是《BeautifulData : The Stories Behind Elegant Data Solution

The project describes teaching process of multi-layer neural network employing backpropagation algorithm. To illustrate this process the three layer neural network with two inputs and one output,which

在信息检索、分类体系中，有一系列的指标，搞清楚这些指标对于评价检索和分类性能非常重要，因此最近根据网友的博客做了一个汇总。准确率、召回率、F1信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate)，召回率也叫查全率，准确率也叫查准率，概念公式:             召回率(Recall)      =

在看机器学习的论文时，经常会看到有作者提到“curse of dimensionality”，中文译为“维数灾难”，这到底是一个什么样的“灾难”？本文将通过一个例子来介绍这令人讨厌的“curse of dimensionality”以及它在分类问题中的重要性。假设现在有一组照片，每一张照片里有一只猫或者一条狗。我们希望设计一个分类器可以自动地将照片中的动物辨别开来。为了实现这个目标，首先需

一文搞懂HMM（隐马尔可夫模型）什么是熵(Entropy)简单来说，熵是表示物质系统状态的一种度量，用它老表征系统的无序程度。熵越大，系统越无序，意味着系统结构和运动的不确定和无规则；反之，，熵越小，系统越有序，意味着具有确定和有规则的运动状态。熵的中文意思是热量被温度除的商。负熵是物质系统有序化，组织化，复杂化状态的一种度量。熵最早来原于物理学. 德国物理学家鲁道夫·

LinearRegression#Import Library#Import other necessary libraries like pandas,#numpy...from sklearn import linear_model#Load Train and Test datasets#Identify feature and response variable(s) and

在A Few Useful Thingsto Know about Machine Learning中提到，可以将泛化误差（gener-alization error）分解成bias和variance理解。 Bias: a learner’s tendency to consistently learn the same wrong thing，即度量了某种学习算法的平均估计结果所能逼近学

原文链接：http://www.cnblogs.com/jianxinzhou/p/4083921.html1. The Problem of Overfitting1还是来看预测房价的这个例子，我们先对该数据做线性回归，也就是左边第一张图。如果这么做，我们可以获得拟合数据的这样一条直线，但是，实际上这并不是一个很好的模型。我们看看这些数据，很明显，随着房子

1. LDA是什么线性判别式分析（Linear Discriminant Analysis），简称为LDA。也称为Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入模式识别和人工智能领域。基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样

在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结果只是必要条件，只有当是凸函数的情况下，才能保证是充分必要条件。KKT条件是拉格朗日乘子法的泛化。之前学习的时候，只知道直接应用两个方法，但是却

机器学习中的范数规则化之（一）L0、L1与L2范数zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09        今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限

今天不太想学习，炒个冷饭，讲讲机器学习十大算法里有名的EM算法，文章里面有些个人理解，如有错漏，还请读者不吝赐教。　　众所周知，极大似然估计是一种应用很广泛的参数估计方法。例如我手头有一些东北人的身高的数据，又知道身高的概率模型是高斯分布，那么利用极大化似然函数的方法可以估计出高斯分布的两个参数，均值和方差。这个方法基本上所有概率课本上都会讲，我这就不多说了，不清楚的请百度。　　然

train loss 不断下降，test loss不断下降，说明网络仍在学习;（最好的）train loss 不断下降，test loss趋于不变，说明网络过拟合;（max pool或者正则化）train loss 趋于不变，test loss不断下降，说明数据集100%有问题;（检查dataset）train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量...