This is bill的专属博客

之前一直在讨论的线性分类器,器如其名，只能对线性可分的样本做处理。如果提供的样本线性不可分，结果很简单，线性分类器的求解程序会无限循环，永远也解不出来。这必然使得它的适用范围大大缩小，而它的很多优点我们实在不原意放弃，怎么办呢？是否有某种方法，让线性不可分的数据变得线性可分呢？有！其思想说来也简单，来用一个二维平面中的分类问题作例子，你一看就会明白。事先声明，下面这个例子是网络早就有的，我一时找不

事先先说明一下：标签就是指的分好的类别，指明标签就是告诉计算机，这个样本属于哪一类。对于聚类的话，是事先类别都没定义好，但是类别的个数一定要告诉计算机这个问题可以回答得很简单：是否有监督（supervised），就看输入数据是否有标签（label）。输入数据有标签，则为有监督学习，没标签则为无监督学习。首先看什么是学习（learning）？一个成语就可概括：举一反三。此处以高考为例，高考的题目在上

1 前言    2012年我在北京组织过8期machine learning读书会，那时“机器学习”非常火，很多人都对其抱有巨大的热情。当我2013年再次来到北京时，有一个词似乎比“机器学习”更火，那就是“深度学习”。    本博客内写过一些机器学习相关的文章，但上一篇技术文章“LDA主题模型”还是写于2014年11月份，毕竟自2015年开始创业做在线教育后，太多的杂事、琐碎事，让我一直想再写点技

记住是Google学术哦~ 超赞！ 在谷歌学术搜索中输入你想要放在【参考文献】中的书名或文章名，搜索结果中找到对应的条目（通常就是第一条），点击其下方的【引用】，就能自动生成标准的参考文献格式，然后粘贴到文章的【参考文献】里，调整字体大小即可。好吧其实我知道这个功能也不久...现在写一个图片解说版，希望可以帮到和我一样不懂的同学吧~Step 1：输入网址http://scholar.google.

聚类系列：聚类(序)----监督学习与无监督学习聚类(1)----混合高斯模型 Gaussian Mixture Model 聚类(2)----层次聚类 Hierarchical Clustering 聚类(3)----谱聚类 Spectral Clustering--------------------------------      聚类的方法有很多种，k-means要数最简单的一种聚类方法

全参考客观视频质量评价方法是指把原始参考视频与失真视频在每一个对应帧中的每一个对应像素之问进行比较。准确的讲，这种方法得到的并不是真正的视频质量，而是失真视频相对于原始视频的相似程度或保真程度。最简单的方法如均方误差MSE和峰值信噪比PSNR，其应用比较广泛。最常见的全参考视频质量评价方法有以下三种：(1) 均方误差MSE其中，fij，f'ij分别代表原始参考视频对应帧和失真视频对应帧，M,N分别

一 矩阵的生成 1、单位矩阵eye(n)生成n*n的单位矩阵eye(n,m)生成n*m的单位矩阵eye(size(B))生成与B同样大小的单位矩阵2、全1矩阵ones（n）ones（n，m）ones(size(A))ones（1,2）生成一行两列的全一矩阵与1类似3、全0矩阵用法同24、随机数矩阵rand（n）生成n*n随机方阵，其他类似于25、randn生成元素为正态分布随机数的矩阵，用法同46

因为做实验要用到趁着跑程序的空当，记录下Matlab计时函数的使用。当你需要计算一组Matlab操作的运行时间时，可以使用tic和toc函数。tic函数启动一个秒表，表示计时开始；toc则停止这个秒表，表示计时结束，并计算出所经历的时间（单位为秒）。比如，下面的代码连续两次计算plot(rand(50,5))这条指令的执行时间：>> tic;plot(rand(50,5));tocElapsed

1张量的定义在维基百科上，张量被定义为“一个多重线性映射”：这个可以理解为一个多维数组，当变换坐标或者变换基底的时候，其分量会按照一定的规则变换。2.张量的模展开矩阵在实际运算当中，我们有时需要对张量按照模展开矩阵。目的是对高维张量进行降阶，转换为矩阵进行运算。在张量的矩阵展开过程中，是对组成张量的所有阶按交错次序采样，并非简单地先采取某一阶的特征值在采取另一阶的特征值，而在整个采取过程中对不同阶

自从开博以来，每天都会关心一下博客的访问情况，看到一些朋友的订阅或者访问，不胜欣喜，也促使我去写一些更好的博文，来和大家分享和交流，从访问统计来看，有相当一部分是来自于搜索引擎的流量，关键字以“行为树”，或者“Behavior Tree”居首位，我想大家对此可能有些兴趣，加上，这几年反反复复一直在AI中研究和运用行为树，所以这次就来谈谈关于行为树（Behavior Tree）的一些东西，以前也写过

Online Learning是工业界比较常用的机器学习算法，在很多场景下都能有很好的效果。本文主要介绍Online Learning的基本原理和两种常用的Online Learning算法：FTRL（Follow The Regularized Leader）[1]和BPR（Bayesian Probit Regression）[2]，以及Online Learning在美团移动端推荐重排序的应

介绍TensorFlow™ 是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。TensorFlow 最初由Google大脑小组（隶属于Google机器智能研究机构）的研究员和工程师们开发出来，用于机器学习和深度神经网络方面的研究，但这个系统的通用性使其也可广泛用于其他计算领域。它是谷歌基于DistBelief进行研发的第二代人工智能学习系统。2015年11月9日，G

TensorFlow入门教程之0: BigPicture&极速入门TensorFlow入门教程之1: 基本概念以及理解TensorFlow入门教程之2: 安装和使用TensorFlow入门教程之3: CNN卷积神经网络的基本定义理解TensorFlow入门教程之4: 实现一个自创的CNN卷积神经网络TensorFlow入门教程之5: TensorBoard面板可视化管理TensorFlow入门教程

转自：http://blog.youkuaiyun.com/garfielder007/article/details/51480820，这个人博客里面有不错的数据集，http://blog.youkuaiyun.com/GarfieldEr007/article/category/6228745Columbia University Image Library(COIL-20)Access InstructionsTo

五次及以上多项式方程没有根式解（就是没有像二次方程那样的万能公式），这个是被伽罗瓦用群论做出的最著名的结论。但是，没有王屠夫难道非得吃带毛猪？工作生活中还是有诸多求解高次方程的真实需求（比如行星的轨道计算，往往就是涉及到很复杂的高次方程），这日子可怎么过下去啊？没有根式解不意味着方程解不出来，数学家也提供了很多方法，牛顿迭代法就是其中一种。1 切线是曲线的线性逼近要讲牛顿迭代法之前我们先说一个关键

原文出处： 我爱计算机 （@tobe迪豪 ）   作者: 陈迪豪，就职小米科技，深度学习工程师，TensorFlow代码提交者。TensorFlow深度学习框架Google不仅是大数据和云计算的领导者，在机器学习和深度学习上也有很好的实践和积累，在2015年年底开源了内部使用的深度学习框架TensorFlow。与Caffe、Theano、Torch、MXNet等框架相比，TensorFlow在Gi

参考的是《游戏和图形学的3D数学入门教程》，非常不错的书，推荐阅读，老外很喜欢把一个东西解释的很详细。1.向量点积(Dot Product)向量点积的结果有什么意义？事实上，向量的点积结果跟两个向量之间的角度有关。2.向量叉积(Cross Product)两个向量a,b,它们的叉积表示为axb，这个很容易跟数学中两个数字之间的相乘，但是这里是完全不同的。两个向量叉积在图形坐标中就很直观了，axb同

KL散度(Kullback-Leibler_divergence)一. 概念KL-divergence，俗称KL距离，常用来衡量两个概率分布的距离。根据shannon的信息论，给定一个字符集的概率分布，我们可以设计一种编码，使得表示该字符集组成的字符串平均需要的比特数最少。假设这个字符集是X，对x∈X，其出现概率为P(x)，那么其最优编码平均需要的比特数等于这个字符集的熵：H(X)=∑x∈XP(x

在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。1. 梯度　　　　在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x, ∂f/∂y)T,简称gr

看到好文章，坚决转载！哈哈，学术目的~~最近几个同事在做推荐平台的项目，都问到怎么实现FTRL算法，要求协助帮忙实现FTRL的算法模块。今天也是有空，赶紧来做个整理。明天还要去上海参加天善智能组织的FLY BI大数据分享会。有兴趣参加线下活动的可以多关注下微博和微信的信息。没事可以多参加分享分享。现在特别是像做在线学习和CTR这块，应用LR是最广泛的。但是批量处理超大规模的数据集和在线数据流时就遇

以上几个概念之前没有完全弄清其含义及区别，容易混淆概念，在本文浅析一下：一、online learning vs batch learningonline learning强调的是学习是实时的，流式的，每次训练不用使用全部样本，而是以之前训练好的模型为基础，每来一个样本就更新一次模型，这种方法叫做OGD（online gradient descent）。这样做的目的是快速地进行模型的更新，提升模型

作者：Jacky Yang链接：https://www.zhihu.com/question/26006703/answer/129209540来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。关于深度学习，网上的资料很多，不过貌似大部分都不太适合初学者。 这里有几个原因：1.深度学习确实需要一定的数学基础。如果不用深入浅出地方法讲，有些读者就会有畏难的情绪，因而容易过

雷锋网(搜索“雷锋网”公众号关注)按：本文由Zouxy责编，全面介绍了深度学习的发展历史及其在各个领域的应用，并解释了深度学习的基本思想，深度与浅度学习的区别和深度学习与神经网络之间的关系。深度学习，即Deep Learning,是一种学习算法（Learning algorithm）,亦是人工智能领域的一个重要分支。从快速发展到实际应用，短短几年时间里，深度学习颠覆了语音识别、图像分类、文本理解等

假设我有5枚硬币，都是正反面不均匀的。我们玩一个游戏，每次你可以选择其中一枚硬币掷出，如果掷出正面，你将得到一百块奖励。掷硬币的次数有限（比如10000次），显然，如果要拿到最多的利益，你要做的就是尽快找出“正面概率最大”的硬币，然后就拿它赚钱了。这个问题看起来很数学化，其实它在我们的生活中经常遇见。比如我们现在有很多在线场景，遇到一个相同的问题：一个平台这么多信息，该展示什么给用户，才能有最好的

前言：      来万物花开这家创业公司实习，也真是一波三折。先实习了三天，每天下午到公司工作到晚上。工作时间是每天下午到晚上9.30。结果每天上午没法用心干实验室的活了，下午在公司工作的时候，总是提心吊胆，手机震动一下就会立刻拿出来看看是不是老师找我了。这样的日子感觉没法持续下去，想找导师谈谈之前，就从实验室同学那儿知道了老师对我最近的出勤率太低很不高兴。想着还是找找导师谈一谈实习的问题吧，然后

作者：Yang Eninala链接：https://www.zhihu.com/question/20962240/answer/33438846来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。×××××11月22日已更新×××××隐马尔可夫（HMM）好讲，简单易懂不好讲。我认为 @者也的回答没什么错误，不过我想说个更通俗易懂的例子。我希望我的读者不是专家，而是对这个

深度学习大讲堂致力于推送人工智能，深度学习方面的最新技术，产品以及活动。请关注我们的知乎专栏！摘要近年来，深度学习在计算机视觉领域取得了引人注目的成果，其中一个重要因素是激活函数的发展。新型激活函数ReLU克服了梯度消失，使得深度网络的直接监督式训练成为可能。本文将对激活函数的历史和近期进展进行总结和概括。激活函数的定义与作用在人工神经网络中，神经元节点的激活函数定义了对神经元输出的映射，简单来说

作者：忆臻链接：https://www.zhihu.com/question/23765351/answer/240869755来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 答案来自专栏：机器学习算法与自然语言处理详解softmax函数以及相关求导过程这几天学习了一下softmax激活函数，以及它的梯度求导过程，整理一下便于分享和交流。so...

模式识别理论中，常提到的正则化到底是干什么的？渐渐地，听到的多了，看到的多了，再加上平时做东西都会或多或少的接触，有了一些新的理解。1. 正则化的目的：防止过拟合！2. 正则化的本质：约束（限制）要优化的参数。关于第1点，过拟合指的是给定一堆数据，这堆数据带有噪声，利用模型去拟合这堆数据，可能会把噪声数据也给拟合了，这点很致命，一方面会造成模型比较复杂（想想看，本来一次函数能够拟合的数据，现在由于

最近在看深度学习的东西，激活函数是其中的一个环节，就从网上的一搜寻关于激活函数的介绍激活函数是用来加入非线性因素的，因为线性模型的表达能力不够。常用激活函数        激活函数的选择是构建神经网络过程中的重要环节，下面简要介绍常用的激活函数。(1) 线性函数 ( Liner Function ) (2) 斜面函数 ( Ramp Function ) (3) 阈值函数 ( Threshold F

原文地址：http://www.cnblogs.com/rgvb178/p/6055213.html版权声明：本文为博主原创文章，未经博主允许不得转载。激活函数的作用首先，激活函数不是真的要去激活什么。在神经网络中，激活函数的作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。比如在下面的这个问题中：如上图(图片来源)，在最简单的情况下，数据是线性可分的，只需要一条直

Introduction深度增强学习Deep Reinforcement Learning是将深度学习与增强学习结合起来从而实现从Perception感知到Action动作的端对端学习的一种全新的算法。简单的说，就是和人类一样，输入感知信息比如视觉，然后通过深度神经网络，直接输出动作，中间没有hand-crafted工作。深度增强学习具备使机器人实现完全自主的学习一种甚至多种技能的潜力。虽然将深度

图：pixabay「机器人圈」导览：一般说来，训练深度学习网络的方式主要有四种：监督、无监督、半监督和强化学习。在接下来的文章中，机器人圈将逐个解释这些方法背后所蕴含的理论知识。除此之外，机器人圈将分享文献中经常碰到的术语，并提供与数学相关的更多资源。本文编译自硅谷著名的风险投资机构安德森•霍洛维茨基金，作者是Frank Chen。有关数学相关问题，请参阅这个斯坦福大学的教程，其中包含监督和无监督

1新智元编译1来源：Linkedin译者：胡祥杰【新智元导读】本文是2016 台湾资料科学年会前导课程“一天搞懂深度学习”的全部讲义PPT（共268页），由台湾大学电机工程学助理教授李宏毅主讲。作者在文中分四个部分对神经网络的原理、目前存在形态以及未来的发展进行了介绍。深度学习的每一个核心概念在文中都有相关案例进行呈现，通俗易懂。一天的时间搞懂深度学习？其实并不是没有可能。关注新智元，在公众号后台

1.下载并安装Python3.4在官网下载即可：Python官网  图1-1 图1-2打开Python图形界面： 图1-3输入 2+3+4+5，回车，出现如图，说明安装成功。  图1-42.安装pip （1）查看是否已安装pip 进入cmd命令窗口，输入pip --version ，查看是否已安装pip，如果出现下图，说明已安装了pip，直接跳转至步骤（3）  图2-1否则，如图2-2，说明没有安

看到好文还是忍不住想转关于卷积神经网络CNN，网络和文献中有非常多的资料，我在工作/研究中也用了好一段时间各种常见的model了，就想着简单整理一下，以备查阅之需。如果读者是初接触CNN，建议可以先看一看“Deep Learning（深度学习）学习笔记整理系列”中关于CNN的介绍[1]，是介绍我们常说的Lenet为例，相信会对初学者有帮助。Lenet，1986年Alexnet，2012年Googl

学习了cs231n，课程很良心，好文要转！哈哈哈！我们也是不谦虚，几个“业余水平”的网友，怎么就“零星”地把这件事给搞完了呢！总之就是非常开心，废话不多说，进入正题吧！CS231n简介CS231n的全称是CS231n: Convolutional Neural Networks for Visual Recognition，即面向视觉识别的卷积神经网络。该课程是斯坦福大学计算机视觉实验室推出的课程

译者注：本文智能单元首发，翻译自斯坦福CS231n课程笔记Python Numpy Tutorial，由课程教师Andrej Karpathy授权进行翻译。本篇教程由杜客翻译完成，Flood Sung、SunisDown、巩子嘉和一位不愿透露ID的知友对本翻译亦有贡献。原文如下这篇教程由Justin Johnson创作。我们将使用Python编程语言来完成本课程的所有作业。Python是一门伟大的

译者注：本文智能单元首发，译自斯坦福CS231n课程笔记image classification notes，由课程教师Andrej Karpathy授权进行翻译。本篇教程由杜客翻译完成。ShiqingFan对译文进行了仔细校对，提出了大量修改建议，态度严谨，帮助甚多。巩子嘉对几处术语使用和翻译优化也提出了很好的建议。张欣等亦有帮助。原文如下这是一篇介绍性教程，面向非计算机视觉领域的同学。教程将向

译者注：本文智能单元首发，译自斯坦福CS231n课程笔记Linear Classification Note，课程教师Andrej Karpathy授权翻译。本篇教程由杜客翻译完成，巩子嘉和堃堃进行校对修改。译文含公式和代码，建议PC端阅读。原文如下内容列表：线性分类器简介线性评分函数阐明线性分类器 译者注：上篇翻译截止处损失函数多类SVMSoftmax分类器SVM和Softmax的比较基于Web