daweibalong的专栏

 理论部分见：http://www.cnblogs.com/biyeymyhjob/archive/2012/07/17/2591592.html   http://blog.youkuaiyun.com/sunmenggmail/article/details/7445035  //这个版本的代码仅可以算是初步实现，一些代码优化还有停止条件的选择还有待改进。#include &lt...

看了3集斯坦福大学的机器学习课程，很有意思，开始着手回顾以及一些代码的实现，这次做的是批量梯度下降以及随机梯度下降。讲义在 http://cs229.stanford.edu/notes/cs229-notes1.pdf1）批量梯度下降： 2）随机梯度下降：  实验内容借鉴了pennyliang 在优快云上的博文http://blog.youkuaiyun.com/pennyliang/article/d...

  梯度下降方法通过学习样本不断修改theta值，使得h(x)不断拟合，今天实验的是一种数学的方式来进行theta值的确定，目的跟之前是一样的，求J(θ)达到最小（极小）值，那么有：令上式等于0，得：下面用昨天的实验进行验证：from numpy import * x=mat('[1,1,4;1,2,5;1,5,1;1,4,2]')y=mat('[19,26...

  分类问题的值是离散的，区别于之前的线性回归问题。本次采用Logistic回归来解决分类问题，实验还是参考了pennyliang的http://blog.youkuaiyun.com/pennyliang/article/details/7045372#comments。Logistic回归问题的,写出likelihood function，目标是使得l（）最大化。可采用梯度上升方法进行迭代...

SoftMax回归可以用来进行两种以上的分类，很是神奇！实现过程实在有点坎坷，主要是开始写代码的时候理解并不透彻，而且思路不清晰，引以为戒吧！SoftMax Regression属于指数家族，证明见（ http://cs229.stanford.edu/notes/cs229-notes1.pdf 及http://ufldl.stanford.edu/wiki/index.php/Sof...

感知机时二分类的线性分类模型，其目的就是寻找通过训练将实例划分为正负两类的分离超平面，其采用的策略是根据现有的超平面和输出值来识别出误分类点，也就是说y*（w*t+b)<=0,并采用随机梯度下降的方法不断修改参数，直至没有误分类点。其实质是最小化误分类点到超平面的距离总和。 具体感知机学习的具体算法，包括原始形式和对偶形式。实验采用的是《统计学习方法》中的例2.1： 1）原始形...