bbbeoy的专栏

首先我们来看一个典型的互联网大数据平台的架构，如下图所示：在这张架构图中，大数据平台里面向用户的在线业务处理组件用褐色标示出来，这部分是属于互联网在线应用的部分，其他蓝色的部分属于大数据相关组件，使用开源大数据产品或者自己开发相关大数据组件。你可以看到，大数据平台由上到下，可分为三个部分：数据采集、数据处理、数据输出与展示。数据采集将应用程序产生的数据和日志等同步到大数据系统中，由于数据源不同，这里的数据同步系统实际上是多个相关系统的组合。数据库同步通常用 Sqoop，日志同步可以选择

浅谈KL散度一、第一种理解　　相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（information gain）。　　KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的比特个数。 典型情况下，P表示数据的真实分布，Q表示数据的理论分布，模型分布，或P的近似分布。根...

Hadamard Product是一种不一样的矩阵乘法，两个维数相同的矩阵“相乘”，得到另一个维数相同的矩阵。Hadamard Product图形表示Hadamard Product矩阵表示

偏差：就是预测值的期望 离所有被预测的样本的真实值的``距离的期望。 刻画了学习算法本身的拟合能力。 方差：就是预测值的期望离所有被预测的样本的预测值的“距离的期望。刻画了数据扰动所造成的影响。 预测值的期望就好像测试集所有点的中心。注意我们在实际中，为评价模型的好坏，从总数据集中抽取一部分作为自己的测试集。上面提到的预测值，是用模型拟合测试数据时得到的预测值。所以我们

Hoeffding不等式是关于一组随机变量均值的概率不等式。 如果X1,X2,⋯,Xn为一组独立同分布的参数为p的伯努利分布随机变量，n为随机变量的个数。定义这组随机变量的均值为：对于任意δ>0, Hoeffding不等式可以表示为上面的公式似乎写的不是很详细，所以我又从网上copy了一份其他的解释：Hoeffding不等式：Hoeffding不

版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]哎，刚刚submit上paper比较心虚啊，无心学习，还是好好码码文字吧。subgradient介绍subgradient中文名叫次梯度，和梯度一样，完全可以多放梯度使用，至于为什么叫子梯度，是因为有一些凸函数是不可导的，没法用梯度，所以subgradient就在这里使用了。注意

.导数(Derivative)的定义在说次梯度之前，需要先简单介绍一下导数的概念与定义。导数（英语：Derivative）是微积分学中重要的基础概念。一个函数在某一点的导数描述了这个函数在这一点附近的变化率。导数的本质是通过极限的概念对函数进行局部的线性逼近。 对于一般的函数f(x)，其导数为： f′(x)=limΔx→0ΔyΔx=limΔx→0f(x0+Δx)−f(x0)

上节我们探讨了关于拉格朗日乘子和KKT条件，这为后面SVM求解奠定基础，本节希望通俗的细说一下原理部分。一个简单的二分类问题如下图：  我们希望找到一个决策面使得两类分开，这个决策面一般表示就是WTX+b=0,现在的问题是找到对应的W和b使得分割最好，知道logistic分类 机器学习之logistic回归与分类的可能知道，这里的问题和那里的一样，也是找权值。在那里，我们是根据每一

7 核函数（Kernels）考虑我们最初在“线性回归”中提出的问题，特征是房子的面积x，这里的x是实数，结果y是房子的价格。假设我们从样本点的分布中看到x和y符合3次曲线，那么我们希望使用x的三次多项式来逼近这些样本点。那么首先需要将特征x扩展到三维，然后寻找特征和结果之间的模型。我们将这种特征变换称作特征映射（feature mapping）。映射函数称作，在这个例子中

[+]概念互信息，Mutual Information，缩写为MI，表示两个变量X与Y是否有关系，以及关系的强弱。公式我们定义互信息的公式为：I(X,Y)=∫X∫YP(X,Y)logP(X,Y)P(X)P(Y)可以看出，如果X与Y独立，则P(X,Y)=P(X)P(Y)，I(X,Y)就为0，即代表X与Y不相关解析公式其中，H(Y)是Y的

本文根据以下参考资料进行整理：　　1.维基百科：https://zh.wikipedia.org/wiki/%E4%BA%92%E4%BF%A1%E6%81%AF　　2.新浪博客：http://blog.sina.com.cn/s/blog_6255d20d0100ex51.html  　　在概率论和信息论中，两个随机变量的互信息（Mutual Information，

1. 当为array的时候，默认d*f就是对应元素的乘积，multiply也是对应元素的乘积，dot（d,f）会转化为矩阵的乘积， 2. 当为mat的时候，默认d*f就是矩阵的乘积，multiply转化为对应元素的乘积，dot（d,f）为矩阵的乘积          3. 混合时候的情况，一般不要混合  混合的时候默认按照矩阵乘法的, multiply转化为对应

sigmoid函数（也叫逻辑斯谛函数）： 　引用wiki百科的定义：　　A logistic function or logistic curve is a common “S” shape (sigmoid curve).　　其实逻辑斯谛函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线。　　logistic曲线如下： 　　

概率分布之间的距离度量以及python实现1. 欧氏距离(Euclidean Distance)       欧氏距离是最易于理解的一种距离计算方法，源自欧氏空间中两点间的距离公式。(1)二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离：(2)三维空间两点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离：(3)两个n维向量a(x11,x12

http://blog.youkuaiyun.com/pipisorry/article/details/51695283这篇文章主要讲：熵, 联合熵(joint entropy),条件熵(conditional entropy),相对熵(relative entropy,KL 距离),互信息(mutual information),交叉熵(cross entropy),困惑度(perplexit

3.1 随机模拟随机模拟 (或者统计模拟) 方法有一个很酷的别名是蒙特卡罗方法(Monte Carlo Simulation)。这个方法的发展始于 20 世纪 40 年代，和原子弹制造的曼哈顿计划密切相关，当时的几个大牛，包括乌拉姆、冯. 诺依曼、费米、费曼、Nicholas Metropolis， 在美国洛斯阿拉莫斯国家实验室研究裂变物质的中子连锁反应的时候，开始使用统计模拟的方法, 并

为什么要用吉布斯采样什么是sampling? sampling就是以一定的概率分布，看发生什么事件。举一个例子。甲只能E：吃饭、学习、打球，时间T：上午、下午、晚上，天气W：晴朗、刮风、下雨。现在要一个sample，这个sample可以是：打球+下午+晴朗。吉布斯采样的通俗解释？问题是我们不知道p(E,T,W)，或者说，不知道三件事的联合分布joint distribution。当然，如果知道的话...

生存？还是毁灭？——哈姆雷特可分？还是不可分？——支持向量机之前一直在讨论的线性分类器,器如其名（汗，这是什么说法啊），只能对线性可分的样本做处理。如果提供的样本线性不可分，结果很简单，线性分类器的求解程序会无限循环，永远也解不出来。这必然使得它的适用范围大大缩小，而它的很多优点我们实在不原意放弃，怎么办呢？是否有某种方法，让线性不可分的数据变得线性可分呢？有！其思想说来也

由于之前做了很多核方法相关的子空间学习算法，本文打算对各种核函数进行一下简要的介绍，希望对大家能够有所帮助。 首先，再对核方法的思想进行描述，核函数的思想是一个伟大的想法，它工作简练巧妙的映射，解决了高维空间中数据量庞大的问题，在机器学习中是对算法进行非线性改进的利器。如下，如果在原空间中，给定的样本数据X是线性不可分的，那么如果我们能够将数据映射到高维空间中，即

复杂矩阵问题求导方法：可以从小到大，从scalar到vector再到matrix。 x is a column vector, A is a matrixd(A∗x)/dx=Ad(A∗x)/dx=A            d(xT∗A)/dxT=Ad(xT∗A)/dxT=A   d(xT∗A)/dx=ATd(xT∗A)/dx=AT    

关于最小二乘问题的求解，之前已有梯度下降法，还有比较快速的牛顿迭代。今天来介绍一种方法，是基于矩阵求导来计算的，它的计算方式更加简洁高效，不需要大量迭代，只需解一个正规方程组。 在开始之前，首先来认识一个概念和一些用到的定理。矩阵的迹定义如下 一个的矩阵的迹是指的主对角线上各元素的总和，记作。即             

一般来说, 牛顿法主要应用在两个方面, 1, 求方程的根; 2, 最优化。1，求方程的根其原理便是使用泰勒展开，然后去线性部分，即：                (1)然后令上式等于0，则有：                                (2)经过不断迭代：                       

目录(?)[+]原文转自：http://jacoxu.com/?p=1461. Jacobian在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式. 还有, 在代数几何中, 代数曲线的雅可比量表示雅可比簇：伴随该曲线的一个代数群, 曲线可以嵌入其中. 它们全部都以数学家卡尔·雅可比(Carl Jacob, 1804年10

对于给定的训练数据集T和超平面(w,b)，定义超平面关于样本点(x_i,y_i)的函数间隔为定义超平面(w,b)关于训练数据集T的函数间隔为超平面关于T中所有样本点的函数间隔之最小值，即       函数间隔可以表示分类预测的正确性及确信度，但选择分离超平面时，只有函数间隔还不够，因为只要成比例改变w和b，超平面并没有改变，但函数间隔却变了，因此需要对分离超

版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]1. 行列式1.1 二阶行列式1.2 三阶行列式1.3 排列的逆序数1.4 n阶行列式2. 行列式的性质性质1  行列式与它的转置行列式相等。性质2  互换行列式的两行（列），行列式变

1、向量范数1-范数：，即向量元素绝对值之和，matlab调用函数norm(x, 1) 。2-范数：，Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方，matlab调用函数norm(x, 2)。∞-范数：，即所有向量元素绝对值中的最大值，matlab调用函数norm(x, inf)。-∞-范数：，即所有向量元素绝对值中的最小值，matl

原创文章，未经博主允许不得转载。目录(?)[-]写在之前一关于拉格朗日乘子法二关于KKT条件写在之前支持向量机（SVM），一个神秘而众知的名字，在其出来就受到了莫大的追捧，号称最优秀的分类算法之一，以其简单的理论构造了复杂的算法，又以其简单的用法实现了复杂的问题，不得不说确实完美。 本系列旨在以基础化的过程，实例化的形式一探SVM的究竟。

最近学习的时候用到了最优化理论，但是我没有多少这方面的理论基础。于是翻了很多大神的博客把容易理解的内容记载到这篇博客中。因此这是篇汇总博客，不算是全部原创，但是基础理论，应该也都差不多吧。因才疏学浅，有纰漏的地方恳请指出。      KKT条件是解决最优化问题的时用到的一种方法。我们这里提到的最优化问题通常是指对于给定的某一函数，求其在指定作用域上的全局最小值。提到KKT条件一般会附带的提一下

拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。前提是：只有当目标函数为凸函数时，使用这两种方法才保证求得的是最优解。对于无约束最优化问题，有很多经典的求解方法，参见无约束最优化方法。拉格朗日乘子法先来看拉格朗日乘子法是什

http://www.cnblogs.com/ooon/p/5721119.html   此博客机器学习高价值文章引言本篇文章将详解带有约束条件的最优化问题，约束条件分为等式约束与不等式约束，对于等式约束的优化问题，可以直接应用拉格朗日乘子法去求取最优值；对于含有不等式约束的优化问题，可以转化为在满足 KKT 约束条件下应用拉格朗日乘子法求解。拉格朗日求得的并不一定是最

本文承接上一篇 约束优化方法之拉格朗日乘子法与KKT条件，将详解一些拉格朗日对偶的内容。都是一些在优化理论中比较简单的问题或者一些特例，复杂的没见过，但是简单的刚接触都感觉如洪水猛兽一般，所以当真是学海无涯。在优化理论中，目标函数 f(x)f(x) 会有多种形式：如果目标函数和约束条件都为变量 xx 的线性函数, 称该问题为线性规划； 如果目标函数为二次函数, 约束条件为线性函数, 称

在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结果只是必要条件，只有当是凸函数的情况下，才能保证是充分必要条件。KKT条件是拉格朗日乘子法的泛化。之前学习的时候，只知道直接应用两个方法，但是却

很高兴阿森纳能在欧冠上战胜拜仁，在虎扑上看到这样的一句话，颇有感触，借来作为这篇博文的开始，生活中我们需要一些勇气去追寻自己的理想。回到本篇内容上，对偶是个神奇的东西，从文学角度而言，对偶和对仗属于一种修辞手法，即用字数相等，语义对称的方法来表征想法或抒发情感。“凡心所向，素履所往，生如逆旅，一苇以航”或者“棋逢对手，将遇良才”都可看成是一种对偶。但是，本文是要阐述在数学问题上的对偶问题，

本篇是写在SVM之前的关于优化问题的一点知识，在SVM中会用到。考虑到SVM之复杂，将其中优化方面基础知识提出，单作此篇。所以，本文也不会涉及优化问题的许多深层问题，只是个人知识范围内所了解的SVM中涉及到的优化问题基础。一、凸优化问题在优化问题中，凸优化问题由于具有优良的性质（局部最优解即是全局最优解），受到广泛研究。对于一个含约束的优化问题：{minxf

版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]缘由布局求导的类别从简单的例子说起实例SVM的对偶形式转换Soft-SVM对偶形式转换线性回归logistic回归参考资料缘由机器学习的很多算法表示中都采用了矩阵的形式，对算法的描述分析中就涉及到了对向量、对矩阵的求导。 比如SVM、linea