cj_to_niu

转载处处：http://blog.youkuaiyun.com/zimohuakai/article/details/6578791欧几里德距离欧几里得度量定义欧几里得空间中点 x = (x1,...,xn) 和 y = (y1,...,yn) 之间的距离为但是当评价结果中,评价者的评价相对于平均水平偏离很大的时候欧几里德距离不能很好的揭示出真实的相似度.还有一种评价方法就

转载出处：http://blog.youkuaiyun.com/jiandanjinxin/article/details/51832202MATLAB命令行下验证Java版本命令version -Java配置MATLAB调用Java库Finish Java codes.Create Java library file, i.e., .jar file.Put

转载出处：http://blog.youkuaiyun.com/johnnyconstantine/article/details/46335763KKT条件介绍       最近学习的时候用到了最优化理论，但是我没有多少这方面的理论基础。于是翻了很多大神的博客把容易理解的内容记载到这篇博客中。因此这是篇汇总博客，不算是全部原创，但是基础理论，应该也都差不多吧。因才疏学浅，有纰漏的

转载出处：http://blog.youkuaiyun.com/xiaomibaozi/article/details/69951477局部线性嵌入(Locally Linear Embedding，以下简称LLE)也是非常重要的降维方法。和传统的PCA，LDA等关注样本方差的降维方法相比，LLE关注于降维时保持样本局部的线性特征，由于LLE在降维时保持了样本的局部特征，它广泛的用于图像图

转载出处：http://blog.youkuaiyun.com/zouxy09/article/details/24971995机器学习中的范数规则化之（一）L0、L1与L2范数zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09        今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0

转载出处：http://blog.youkuaiyun.com/light_lj/article/details/39085183条件独立（conditional independent）是概率论和概率图模型中的一个基本概念预备知识：贝叶斯公式（bayesian rule）：链式法则（chain rules of probability theory）:

转载出处：http://blog.youkuaiyun.com/autocyz/article/details/49636923Introduction一、最优化问题的数学表达在最优问题中，其数学表达往往能化成标准形式，如下： minimizef0(x)subject tofi(x)≤bi,i=1,...,m上面的数学形式被称之为最优化问题的标准形式

转载出处：http://blog.youkuaiyun.com/JoyceWYJ/article/details/51580139?locationNum=2&fps=1前言             这节课主要介绍凸优化的入门知识，程博士推荐阅读Boyd的《凸优化》，最经典的凸优化的书，这本书有600多页，细致讲解了凸优化相关的理论知识，可以作为一门学科来学习。因为硕士阶段学过

转载出处：http://blog.youkuaiyun.com/lotus___/article/details/20546259一.背景   5月9号到北大去听hulu的讲座《推荐系统和计算广告在视频行业应用》，想到能见到传说中的项亮大神，特地拿了本《推荐系统实践》求签名。讲座开始，主讲人先问了下哪些同学有机器学习的背景，我恬不知耻的毅然举手，真是惭愧。后来主讲人在讲座中提到了最小二乘法

转载出处：http://www.52ml.net/20954.html05 November 20151. 引言凡心所向，素履所往，生如逆旅，一苇以航。很高兴阿森纳能在欧冠上战胜拜仁，在虎扑上看到这样的一句话，颇有感触，借来作为这篇博文的开始，生活中我们需要一些勇气去追寻自己的理想。回到本篇内容上，对偶是个神奇的东西，从文学角度而言，对偶和对仗属于一种

为什么机器能够学习——PAC Learnability 机器学习中，我们根据训练集训练一个模型，来对测试数据进行预测。通常我们并不关心模型在训练集上的好坏（即训练误差，in sample error），举个简单例子，我们想要根据前六个月股市行情训练一个模型来对未来股市走向进行预测，即使我们的算法在过去的数据上做的再精准都没有任何意义，我们希望模型在未来某一天能够预测的准，这样我们才能赚大钱。因此我...

转载出处：https://blog.youkuaiyun.com/hearthougan/article/details/77859173设样本均值为，样本方差为，总体均值为，总体方差为，那么样本方差有如下公式：    很多人可能都会有疑问，为什么要除以n-1，而不是n，但是翻阅资料，发现很多都是交代到，如果除以n，对样本方差的估计不是无偏估计，比总体方差要小，要想是无偏估计就要调小分母，所以除以n-1，那么...

转载出处：https://zhuanlan.zhihu.com/p/27312651 在列联表中，二维表是最基础的一类表，在二维表中，四格表是最基础的一类表。 四格表的基本形式在《经典比较篇之十一：小样本的比率比较怎么做？》中已经介绍，这里在把表贴出来。 下面针对表格数据的各种不同形式来介绍相应的分析方法。基本四格表的分析方法1.正态近似 基本四格表其实是两个比率(就是上表的...

转载出处：https://www.zhihu.com/question/40181086?sort=created教科书上有严格的证明，这个答案试图通过类比来提供一些直观上的理解。大概的结论是，多元函数的Hessian矩阵就类似一元函数的二阶导。多元函数Hessian矩阵半正定就相当于一元函数二阶导非负，半负定就相当于一元函数二阶导非正。如果这个类比成立的话，凸函数的Hessian恒半正定就非常容...

转载出处：https://www.cnblogs.com/pinard/p/6244265.html　在主成分分析（PCA）原理总结中，我们对降维算法PCA做了总结。这里我们就对另外一种经典的降维方法线性判别分析（Linear Discriminant Analysis, 以下简称LDA）做一个总结。LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像识别领域）中有非常广泛的应用，因此我们有必要...

转载出处：http://blog.youkuaiyun.com/zc02051126/article/details/46771793在Python中使用XGBoost下面将介绍XGBoost的Python模块，内容如下： * 编译及导入Python模块 * 数据接口 * 参数设置 * 训练模型l * 提前终止程序 * 预测A walk thro

转载出处：http://www.cnblogs.com/pinard/p/6140514.html梯度提升树(GBDT)原理小结　　　　在集成学习之Adaboost算法原理小结中，我们对Boosting家族的Adaboost算法做了总结，本文就对Boosting家族中另一个重要的算法梯度提升树(Gradient Boosting Decison Tree

转载出处：http://www.cnblogs.com/DjangoBlog/p/6201663.html 　　在梯度提升树(GBDT)原理小结中，我们对GBDT的原理做了总结，本文我们就从scikit-learn里GBDT的类库使用方法作一个总结，主要会关注调参中的一些要点。1. scikit-learn GBDT类库概述　　　　在sacikit-le

转载出处：http://blog.youkuaiyun.com/xianlingmao/article/details/7919597在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结果

转载出处：http://noalgo.info/363.html支持向量机(SVM，Support Vector Machine）是一种基于统计学习理论的模式识别方法，在解决小样本、高维度及非线性的分类问题中应用非常广泛。LIBSVM是一个由台湾大学林智仁(Lin Chih-Jen)教授等开发的SVM模式识别与回归的软件包，使用简单，功能强大，本文主要介绍其在Matlab中

转载出处：http://www.cnblogs.com/huashiyiqike/p/3568922.html矩阵、向量求导法则复杂矩阵问题求导方法：可以从小到大，从scalar到vector再到matrix。 x is a column vector, A is a matrixd(A∗x)/dx=Ad(A∗x)/dx=A            d

转载出处：http://blog.youkuaiyun.com/luoleicn/article/details/6527049、平时经常看到牛顿法怎样怎样，一直不得要领，今天下午查了一下维基百科，写写我的认识，很多地方是直观理解，并没有严谨的证明。在我看来，牛顿法至少有两个应用方向，1、求方程的根，2、最优化。牛顿法涉及到方程求导，下面的讨论均是在连续可微的前提下讨论。 

转载出处：http://blog.youkuaiyun.com/shenxiaoming77/article/details/51614601损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。

转载出处：http://sbp810050504.blog.51cto.com/2799422/1608064/Logistic回归与梯度上升算法在《机器学习实战》一书的第5章中讲到了Logistic用于二分类问题。书中只是给出梯度上升算法代码，但是并没有给出数学推导。故哪怕是简单的几行代码，依然难以理解。 对于Logistic回归模型而言，需要读者

转载出处：http://www.cnblogs.com/steven-yang/p/5658362.html前言最近在看Peter Harrington写的“机器学习实战”，这是我的学习笔记，这次是第6章：SVM 支持向量机。支持向量机不是很好被理解，主要是因为里面涉及到了许多数学知识，需要慢慢地理解。我也是通过看别人的博客理解SVM的。推荐大家看看on2w

转载出处：http://blog.youkuaiyun.com/v_july_v/article/details/7624837        支持向量机通俗导论（理解SVM的三层境界）作者：July 。致谢：pluskid、白石、JerryLead。说明：本文最初写于2012年6月，而后不断反反复复修改&优化，修改次

转载出处：http://blog.youkuaiyun.com/sunshine_in_moon/article/details/45749691本文转自知乎大牛。 从定义出发，Ax=cx：A为矩阵，c为特征值，x为特征向量。 矩阵A乘以x表示，对向量x进行一次转换（旋转或拉伸）（是一种线性转换），而该转换的效果为常数c乘以向量x（即只进行拉伸）。 我们通常求特征值和特征向量即

转载出处：http://blog.youkuaiyun.com/zc02051126/article/details/54614230符号说明：x表示样本特征数据y表示样本目标数据第i个训练样本为(xi,yi)，为了方便也可以用x=xi表示第i个样本1 基于域的分解机模型（FFM）1.1 线性模型∅(w,x)=wTx=w0+∑j∈C1wjxj−−−−

转载出处：http://blog.youkuaiyun.com/zc02051126/article/details/54614230符号说明：x表示样本特征数据y表示样本目标数据第i个训练样本为(xi,yi)，为了方便也可以用x=xi表示第i个样本1 基于域的分解机模型（FFM）1.1 线性模型∅(w,x)=wTx=w0+∑j∈C1wjxj−−−−

转载出处：http://blog.youkuaiyun.com/wtq1993/article/details/51418958Kaggle 是目前最大的 Data Scientist 聚集地。很多公司会拿出自家的数据并提供奖金，在 Kaggle 上组织数据竞赛。我最近完成了第一次比赛，在 2125 个参赛队伍中排名第 98 位（~ 5%）。因为是第一次参赛，所以对这个成绩我已经很满意

转载出处：http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html版权声明：    本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@g

转载出处：http://www.cnblogs.com/lzllovesyl/p/5243370.html本文先从几何意义上对奇异值分解SVD进行简单介绍，然后分析了特征值分解与奇异值分解的区别与联系，最后用python实现将SVD应用于推荐系统。1.SVD详解SVD(singular value decomposition)，翻译成中文就是奇异值分解。SVD的

转载出处：http://blog.youkuaiyun.com/iezengli/article/details/32686803一、 背景1) 问题在机器学习的实际应用中，特征数量可能较多，其中可能存在不相关的特征，特征之间也可能存在相关性，容易导致如下的后果：1.     特征个数越多，分析特征、训练模型所需的时间就越长，模型也会越复杂。2.     特征个数越多，容易

转载出处：https://blog.youkuaiyun.com/Oxalis_Triangularis/article/details/47420521LDA中的三个散度矩阵在学习LDA（Linear Discriminate Analysis）的时候接触到了散度矩阵的概念，并且很多文章提到到混合散度矩阵等于类间散度矩阵与类内散度矩阵之和。我自己证明了一下。总体散度矩阵（total scatter matr...