往者不可谏，来者犹可追

1、深度强化学习强化学习是受到生物能够有适应环境的启发，以试错的机制与环境进行交互，通过最大化累积奖赏的方式来学习最优策略。而深度强化学习将深度学习的感知能力和强化学习的决策能力相结合，可以直接根据输入的图像进行控制，是一种更接近人类思维方式的人工智能方法。 2、蒙卡罗特树蒙特卡罗树搜索大概可以被分成四步。选择(Selection)，拓展(Expansion)，模拟(Simul

一、roc曲线1、roc曲线：接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。横轴：负正类率(false postive rate FPR)特异度，划分实例中所有负例占所有负例的比例；(1-Specificity)纵轴：真正类率(true postive rate TPR)灵敏度，Sensi

Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个性能更加强大的分类器，更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器的方法。首先介绍Bootstraping，即自助法：它是一种有放回的抽样方法（可能抽到重复的样本）。1、Bagging (bootstrap aggregating)Bagging即套袋法，其算法过程如

熵的本质是香农信息量()的期望。现有关于样本集的2个概率分布p和q，其中p为真实分布，q非真实分布。按照真实分布p来衡量识别一个样本的所需要的编码长度的期望(即平均编码长度)为：H(p)=。如果使用错误分布q来表示来自真实分布p的平均编码长度，则应该是：H(p,q)=。因为用q来编码的样本来自分布p，所以期望H(p,q)中概率是p(i)。H(p,q)我们称之为“交叉熵”。比如含有4个字母(

Consider the vector x⃗ =(1,ε)∈R2 where ε>0 is small. The l1 and l2 norms of x⃗ , respectively, are given by||x⃗ ||1=1+ε,  ||x⃗ ||22=1+ε2Now say that, as part of some regularizati

人工智能（AI）是近两年来最热门的词之一了，自16年Google DeepMind的AlphaGo打败了世界围棋大师李世石后，人们在惊叹之余，也意识到人工智能时代的正式开始。从此，人工智能、机器学习和深度学习就成为了热门词汇，而它们的关系如下图1所示。人工智能的概念起源于1956年，所谓的人工智能就是给机器赋予人的智能，让机器能够像人一样地思考问题，做出决策。而一种较为有效的、

一、基本变换：层 一般的神经网络是由一层一层堆叠而成的，但是每层究竟在做啥呢？ 我从三个方面述说一下：数学公式Y = a ( W * X + b )         其中Y是输出量，X是输入量，a（）是一个激活函数，W是权重矩阵，b是偏置向量。每一层都是通过该公式简单的得到输出Y。数学理解 通过如下5种对输入空间（输入向量的集合）的操作，完成

概述卷积神经网络是一种特殊的深度前馈神经网络，为了避免层级之间全连接造成的参数冗余，而导致网络模型的训练依赖于参数个数的数据量；它的设计选择局部连接，符合生物神经元的稀疏响应特性（神经元的感受野，具有局部响应特性，只有某个局部区域内的刺激才能激活该神经元），这样便可大大降低网络模型的参数规模。对于卷积神经网络而言，感受野是每一层输出的特征图上的像素点，在原图像上映射的区域大小。卷积神经网络的基础模块

传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下，xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导。xgboos

今天，在训练网络时想换一种学习策略试试，因此重新研究了一下Caffe中提供的各种学习率策略，在这里和大家聊聊我使用时的一些经验教训。我们先来看看和学习率策略有关的参数，以下的内容来自caffe.proto中：// The learning rate decay policy. The currently implemented learning rate // policies a

NP问题一直都是信息学的巅峰。巅峰，意即很引人注目但难以解决。在信息学研究中，这是一个耗费了很多时间和精力也没有解决的终极问题，好比物理学中的大统一和数学中的歌德巴赫猜想等。以下引用于：什么是P问题、NP问题和NPC问题P类问题的概念：如果一个问题可以找到一个能在多项式的时间里解决它的算法，那么这个问题就属于P问题。NP问题是指可以在多项式的时间里验证一个解的问题。很显然，Hamilton回路是N

这篇文章是XGBoost的作者——陈天奇大神对XGBoost原理的解析，文章脉络十分清晰，环环相扣，每个部分都列举了对应的例子，帮助我们更好的理解原文，看完收获良多。1、有监督学习算法的逻辑组成要讲boosted tree，要先从有监督学习讲起。在有监督学习里面有几个逻辑上的重要组成部件，初略地分可以分为：模型，参数 和 目标函数。i. 模型和参数 模型指给定输入xi如何去预测 输出 yi。我们比

Softmax回归From UfldlJump to: navigation,searchContents1简介2代价函数3Softmax回归模型参数化的特点4权重衰减5Softmax回归与Logistic 回归的关系6Softmax 回归 vs. k 个二元分类器7中英文对照8中文译者简介

目前出现的相对流行的场景分类方法主要有以下三类： （1）     基于对象的场景分类：这种分类方法以对象为识别单位，根据场景中出现的特定对象来区分不同的场景；  基于视觉的场景分类方法大部分都是以对象为单位的，也就是说，通过识别一些有代表性的对象来确定自然界的位置。典型的基于对象的场景分类方法有以下的中间步骤：特征提取、重组和对象识别。 缺点：底层的错误会随着处

1.定义标准定义：给定一个假设空间H，一个假设h属于H，如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小，但在整个实例分布上h’比h的错误率小，那么就说假设h过度拟合训练数据。2.出现过拟合的一些原因（1）建模样本抽取错误，包括（但不限于）样本数量太少，抽样方法错误，抽样时没有足够正确考虑业务场景或业务特点，等等导致抽出的样本数据不能有效足够代表