super

1 简介Xgboost是目前非常流行的机器学习模型，它属于集成学习中的boosting方法，在多种竞赛场合取得非常好的成绩，在工业界也有广泛应用。它和一般教科书上的讲解的梯度树在理论推导上有较大不同，陈天奇在其分享的ppt《Introduction to Boosted Trees》和发表的论文《XGBoost: A Scalable Tree Boosting System》中详细介绍了Xgb的理

1 简介在用不对称数据训练一个预测模型时，比如在训练广告的CTR模型时，训练数据就严重正负样本不对称，负样本可能是正样本的几百倍，对于这种问题，常用的做法是对负样本进行采样，将采样后的负样本和正样本一起作为训练数据。但是这样的训练数据训练出的模型预测概率会比实际的概念要打，以为对负样本采样导致训练数据的分布和原始数据的分布不一致了。所以在预测时要对模型预测出的概念进行矫正。下面介绍采样前后的概念关系

经过一个多月的努力，终于完成了BP网络，参考的资料为：1、Training feed-forward networks with the Marquardt algorithm2、The Levenberg-Marquardt method for nonlinear least squares curve-fitting problems3、Neural Network Desig

此文介绍的拉格朗日乘数法非常直观 http://www.cnblogs.com/maybe2030/p/4946256.html

@爱可可-爱生活 【大规模最近邻】《Nearest Neighbors At Scale》by Yonas Tesfaye 网页链接

@爱可可-爱生活 《A Few Useful Things to Know about Machine Learning》总结了12条机器学习的经验，包括：学习=表示+评价+优化、泛化是关键、仅有数据是不够的、不止一面的过拟合、特征往往是关键、数据多胜过算法妙、多训练几个模型试试、简单不意味着准确、可表示不代表可训练等，推荐！ 网页链接

http://neuralnetworksanddeeplearning.com/

http://yahoolabs.tumblr.com/post/133013312756/birds-apps-and-users-scalable-factorization

http://arxiv.org/pdf/1510.08532.pdf

一 机器学习概述1.1 统计学习1 学习方法监督学习，非监督学习，半监督学习2 统计学习三要素模型，策略，算法1.2 监督学习1 基本概念输入、输出空间，特征空间，假设空间2 监督学习过程 1.3 模型评估与选择1 训练误差与测试误差 2 过拟合与正则化 3 交叉验证4 评价指标准确率和召回率1.4 模型的泛化能力即预测模型对样本的预测能力

1 一元线性回归1.1 为什么用回归 图1.1.1 Google的票房与搜索量的关系图1.1显示的是Google发布的电影的搜索量与票房的关系。如何用历史的信息预测票房就是（线性）回归问题。1.2 一元线性回归模型1 数学描述图1.1.1中的横、纵轴分别用用{xi,yi}图1.1.1中的横、纵轴分别用用\left\{ x_{i},y_{i} \right\}表示，表示，1≤i≤N。假设图1.1中使

聚类算法是无监督学习算法，对于没有打上标签的数据，可以采用聚类算法。下面介绍两种常用的算法KMeans和谱聚类。1 Kmeans假设有数据集合 {xi}\left\{ x_{i} \right\}，1≤i≤N1 \leq i \leq N ，xi∈Rnx_{i} \in \mathbb{R}^{n}，如果想把该数据集合分成k个类，应该如何划分？这就是聚类问题。例如有如下二维数据（以二维为例方便展示）

符号说明：x表示样本特征数据x表示样本特征数据y表示样本目标数据y表示样本目标数据第i个训练样本为(xi,yi)，为了方便也可以用x=xi表示第i个样本第i个训练样本为\left( x_{i},y_{i} \right)，为了方便也可以用x =x_{i}表示第i个样本1 基于域的分解机模型（FFM）1.1 线性模型∅(w,x)=wTx=w0+∑j∈C1wjxj−−−−(1)\varnothi

分布式优化和统计学习的交替方向乘子法:http://forum.memect.com/blog/thread/ml-2016-03-29/#3958309659052306Lecun：深度学习技术趋势报告（150PPT全文翻译及下载）:http://forum.memect.com/blog/thread/ml-2016-03-28/#3958007321042235剑桥编程学院：泛化能力、偏置

ref:http://sebastianruder.com/optimizing-gradient-descent/index.html#gradientdescentvariants1 三种梯度下降法2 梯度下降法存在的问题3 几种改进的梯度优化方法4 分布式随机梯度下降法5 梯度下降法常用策略

MoE理论参考：https://goker.wordpress.com/2011/07/01/mixture-of-experts/实现代码import numpy as npimport randomimport matplotlib.pyplot as pltclass MOE: def __init__(self, train_x, train_y, k = 4, lamda =

1 线性分类器-感知器1.1 感知器有如图1.1所示的两类数据希望找到，如果想把他们分开，最简单的方法就是用图中的绿线将它们分开。显然绿线的方程为t=ω0+ω1x+ω1y−−−−−（1.1−1）t = \omega_{0} + \omega_{1}x + \omega_{1}y-----（1.1-1）假设红色点为 {xr,yr}\left\{ x_{r},y_{r} \right\}，绿色点的集合为

7.1、推荐系统概述如何在学习爆炸的时代找到自己需要的信息？搜索引擎（Google，Bing，百度等等）成为大家快速找到目标信息的最好途径。在用户对自己需求相对明确的时候，用搜索引擎很方便的通过关键字搜索很快的找到自己需要的信息。但搜索引擎并不能完全满足用户对信息发现的需求，那是因为在很多情况下，用户其实并不明确自己的需要，或者他们的需求很难用简单的关键字来表述。又或者他们需要更加符合他们个人口味和

1 模型选择方法下图是不同阶多项式回归问题，从中可以看到不同的M取值所对应的不同效果，M=0和M=1时都是欠拟合，M=9多拟合，M=3时多项式回归模型刚好合适，在实际应用中不能将每个模型都画出来进行观察。在模型选择中如何才能得到一个不过拟合也不欠拟合的模型？将数据集分为：训练集，交叉验证集，测试集。对于每个可能的模型，用训练数据训练模型然后在训练好的模型上做交叉验证，在所有的模型中选出交叉验证结果最

五 降维算法1 主成分分析（PCA）1.1 主成分应用从第二章的图1.1.1中能看出来哪部电影的人气指数最高吗？当然是票房比较高或者检索次数比较高的电影人气指数要高。如何用主成分来分析人气指数哪？沿着数据跨度最大的方向，即方差最大的方向画出一条坐标轴，然后将原始的数据投影在新的坐标轴上，投影后值越大代表综合人气指数最高，见下图。下面会以一个例子演示如何计算主成分，及其相关应用。 图1.1.1 各个

http://arxiv.org/abs/1511.05263v1

【视频课程:徐亦达讲变分推断】《机器学习课程 Variational Inference》by 徐亦达 Variational Inference Basics/Variational Inference for http://pan.baidu.com/s/1gdsGQ7T#path=%252FVariational%2520Inference

1、 高斯贝叶斯分类器：条件概率表示如下：参数  和  由极大似然估计获得应用范围：主要应用与连续的样本2、多项式贝叶斯分类器哦应用范围：文本分类3:、伯努利贝叶斯分类器应用范围：如果样本中的属性是二值的可以采用这种分类器

Python实现的Softmax算法，采用梯度下降法训练

import mathimport timeimport numpy as npimport matplotlib.pylab as pltimport randomclass Samples: def __init__(self): pass def rand(self, num, seed = 1): m = math.pow(2, 3

参考资料：http://www.cnblogs.com/xkfz007/archive/2012/03/27/2420154.htmlpython脚本：class Samples: def __init__(self): pass def rand(self, num, seed = 1): m = math.pow(2, 32)

logprobs.pyimport numpy as npfrom math import exp, logdef sumLogProb2(log_prob1, log_prob2): if(np.isinf(log_prob1) and np.isinf(log_prob2)): return log_prob1 elif(log_prob1 > log_pr

通过学习《集体智慧编程》，将其中决策树算法总结如下：

本文不介绍朴素贝叶斯理论，而是以一个小的例子介绍朴素贝叶斯在文本分类中的实现，欢迎指正。

python实现的高斯朴素贝叶斯分类器

参考资料：http://www.52nlp.cn/lda-math-mcmc-%e5%92%8c-gibbs-sampling1python脚本：import mathimport timeimport numpy as npimport matplotlib.pylab as pltimport randomclass Samples: def __init__(sel

参考资料：1、http://www.52nlp.cn/lda-math-mcmc-%e5%92%8c-gibbs-sampling22、http://en.wikipedia.org/wiki/Metropolis%E2%80%93Hastings_algorithm3、http://www.quantiphile.com/2010/11/01/metropolis-hasting

http://www.visiondummy.com/2014/03/divide-variance-n-1/1 简介 为了回答本文的标题，在这篇文章中将介绍正太分布数据的均值和方差计算公式。如果有些读者对这些公式的背后推导不感兴趣，而仅仅只是想知道两种计算公式（除以NN和除以N−1N-1）的使用场景，请看如下的概述 如果需要同时估计均值和方差（这种情况非常常见，均值和方差都未知

译自：http://www.visiondummy.com/2014/04/geometric-interpretation-covariance-matrix/

以下文章前大部分来自：http://blog.youkuaiyun.com/zbc1090549839/article/details/38929215 其译自：http://www.visiondummy.com/2014/04/curse-dimensionality-affect-classification/ 由于其没译完所以最后一部分自己补上了。1 引言这里我们将要讨论所谓的“维数灾难”，同时结合

来自：http://machinelearningmastery.com/tactics-to-combat-imbalanced-classes-in-your-machine-learning-dataset/1 尽可能的收集数据这种做法看起来有点low，大家也不认为这有多重要。事实情况是如果拥有越多的数据，则就越有可能发现类别之间的差异性，也就越有可能让类别变得越来越对称。收集更多的数据对稍后

1 学习问题1.1 什么时候用机器学习有可以被学习的模式（如何判断有无模式）这些模式无法用简单的规则定义，或者这些规则不容易描述有数据，这些数据中包括相应的模式

自己总结的机器学习基础算法，和相应的python代码实现，直接上传word和python代码机器学习算法基础及Python实现目录一 机器学习概述...41.1 统计学习...41.2 监督学习...41.3 模型评估与选择...41.4 模型的泛化能力...5二 预测算法...51 一元线性回归...51.1 为什么

本文为《Ensemble Methods Foundations and Algorithms》的读书笔记，由于用word记录，其中有很多公式和图片在csdn上不好显示，所以直接上传word文档。持续更新中目录2 Boosting.02.1 Boosting过程...02.2 AdaBoost算法...02.3 例子... 02.4 相关理论分析..