tinyh-优快云博客

原创三个臭皮匠顶过诸葛亮的adaboost算法

菜鸟最近开始学习machine learning。发现adaboost 挺有趣，就把自己的一些思考写下来。主要参考了http://stblog.baidu-tech.com/?p=19，其实说抄也不为过，但是我添加了一些我认为有意思的东西，所以我还是把它贴出来了，呵呵。一 Boosting 算法的起源 boost 算法系列的起源来自于PAC Learnabilit

2016-04-29 09:01:20 787

原创交叉验证原理

交叉验证(Cross-Validation): 有时亦称循环估计，是一种统计学上将数据样本切割成较小子集的实用方法。于是可以先在一个子集上做分析，而其它子集则用来做后续对此分析的确认及验证。一开始的子集被称为训练集。而其它的子集则被称为验证集或测试集。WIKI 交叉验证对于人工智能，机器学习，模式识别，分类器等研究都具有很强的指导与验证意义。基本思想是把在某种意义下将原始数据(datas

2016-04-13 10:39:53 5782

原创 R语言snow包并行计算

This post was kindly contributed by 数据科学与R语言 - go there to comment and to read the full post. 在数据挖掘和机器学习领域有许多的算法需要强大的计算能力，如果对大数据进行运算操作，那么其工作量之大使单个CPU核心难以承受负荷。目前的个人计算机已经具备有多个核心，如果采用并行计算将

2016-04-05 10:34:35 3247

原创 SVM(一)

本讲大纲： 1.朴素贝叶斯（Naive Bayes） 2.神经网络（Neural Networks） 3.支持向量机（Support vector machines） 1.朴素贝叶斯前面讲的主要是是二元值的特征，更一般化的是xi可以取{1，2，3…k}，这样的话可以用多项式分布代替伯努利分布对p(x|y)进行建模. 即使一些输入特征是连续值，我们也很容易离散化. 就比如

2016-03-29 10:11:04 515

原创逻辑回归学习笔记

本讲大纲： 1.局部加权线性回归（locally weighted linear regression）给定一个数据集，根据x预测y. 最左边的函数为，并不能很好的拟合数据；中间的加了一个额外的特性，函数为，稍微更好地拟合了数据；似乎我们增加越多的特性，拟合程度越好；但是增加太多的特性是很危险的，最右边的图是一个五阶的多项式，虽然很好的拟合了给定的数据集，但是这个

2016-03-28 11:13:57 863

原创 Generative learning algorithm

本讲大纲： 1.生成学习算法（Generative learning algorithm） 2.高斯判别分析（GDA，Gaussian Discriminant Analysis） 3.朴素贝叶斯（Naive Bayes） 4.拉普拉斯平滑（Laplace smoothing） 1.生成学习算法判别学习算法（discriminative learning algorithm）:

2016-03-28 10:08:05 714

转载牛顿法

平时经常看到牛顿法怎样怎样，一直不得要领，今天下午查了一下维基百科，写写我的认识，很多地方是直观理解，并没有严谨的证明。在我看来，牛顿法至少有两个应用方向，1、求方程的根，2、最优化。牛顿法涉及到方程求导，下面的讨论均是在连续可微的前提下讨论。 1、求解方程。并不是所有的方程都有求根公式，或者求根公式很复杂，导致求解困难。利用牛顿法，可以迭代求解。原理是利用泰勒公式

2016-03-25 09:24:33 786

原创 R语言面向对象编程

1. 对以下对象创建S3和S4实例（1）学生姓名性别学号语文成绩数学成绩英语成绩小明男 01 88 98 93 小红女 02 96 84 97 小华

2016-03-15 17:00:57 3267

tinyh的博客