极度视界

这学期开了机器学习讨论班，为了下学期的《机器学习与数据分析》课程做准备。先期讲解《The Elements of Statistical Learning》这本书，此书已经出到第二版。豆瓣截图：评价非常高 本书主页：http://www-stat.stanford.edu/~tibs/ElemStatLearn/      Trevor Hastie, Robert Tibsh

【Deep Learning】3、Softmax Regression

Self-Taught Learning

Hinton 06 年的 A fast learning algorithm for deep belief nets首先提出了 pre-training + fine-tuning的优化 deep network的方法策略；mutil-layer network多年前就提出，但优化一直是个问题；非凸且参数巨多， 单隐藏层NN的优化算法Backpropagation Algorith往往得不到

Digit Recognizer手写体数字识别  MNIST数据集本赛 train 42000样例 test 28000样例，原始MNIST是 train 60000 test 10000我分别用 Logistic Regression/ 784-200-200-10的Sparse AutoEncoder/Convolution AutoEncoder刷了下==

7.27 暑假开始后，稍有时间，“搞完”金融项目，便开始跑跑 Deep Learning的程序Hinton 在Nature上文章的代码 跑了3天 也没跑完 后来Debug 把batch 从200改到20 勉强跑出结果后来开始看 文章等  感觉晕晕乎乎 又翻到：Deep Learning Tutorials 装Theano等，但是python 代码 Debug真是好生恶心再后来翻到 ...

SVM 五步实现

自己写的： 【SVM之菜鸟实现】—5步SVM matlab版=================================================随后 有人写了Python版【SVM之菜鸟实现】 python版

DeepLearnToolbox 使用小结

文本自动分类 python

文本自动分类 朴素贝叶斯

K-Means和K-Medoids算法是学习领域比较普通的聚类算法(无监督学习)，本文介绍原理及Matlab实现代码。1.问题：     给定数据点集P，d-by-N，将这些数据点集聚类到K类中去同时要求下式值最小：Sk是聚类形成的数据集合，mk是每个类集合的“中心”——K-Means与K-Medoids唯一不同的地方

课程 Python代码：__author__ = 'LiFeiteng(Email: lifeiteng0422@gmail.com)'# -*- coding: utf-8 -*-import numpy as npclass UserUserRec: def __init__(self): self.U = 0 # user number self.M = 0 #

Robust Face Recognition via Sparse Representation算法实现记录

Convolutional Neural Networks for Speech

此文，记述数月前，看PRML第四章-线性分类模型时的思考。此模型得到的解析解为：可以看到：标签信息影响最后的参数的值，进而影响判别边界，接着会对预测产生影响。示例：可以看到相同的数据，使用不同的标签信息，得到不同的判别边界。训练完参数，使用其做预测，那么：不同的标签选择+各个类的点数Ni，就会有不同的判别边界，从而影响预测。如预测下图三个*点是正

预处理 PCA与白化

Sparse Coding Toolbox——Open-Source！

在上一篇文章推荐系统—影视评分预测中提出了，几点思考：=============================一、theta/x的意义？=============================首先是模型：以下的model1/model2都把user想简单了（1）model1：给定x=(romance,action)，回归优化theta。首先模型就给x赋予了意义(movi

Coursera：Andrew Ng，恰恰是Machine Learning的任课教师在校的同学，可以通过“六维空间”下载，在文档资料区。=============================================================================================================

本章目录：====================================================7.1  Introduction  线性回归是统计和机器学习领域最基本的模型，其实在科研领域，经典的模型是用的最多的模型。线性模型就是一种经典的模型。====================================================

在做分类时常常需要估算不同样本之间的相似性(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。本文的目的就是对常用的相似性度量作一个总结。本文目录：1. 欧氏距离2. 曼哈顿距离3. 切比雪夫距离4. 闵可夫斯基距离5. 标准化欧

Logistic回归对于{0，1}分类有很好的效果；Logistic model 算是Generalized Linear Model中的一类。 本章目录：sigmoid函数p(y=1|x,w)>0.5预测y=1;否则预测y=0.下面两个图中的分类可以展示Logistic的魔力。8.2 Model specificationp(y=1|x,w)可

作者 Kevin P Murphy的主页：http://www.cs.ubc.ca/~murphyk/；ML：aPP的主页：http://www.cs.ubc.ca/~murphyk/MLbook/index.html；本书提供了一个matlab/python的toolbox，very good。优快云下载链接：http://download.youkuaiyun.com/detail/life

参考用书：本文是在学习此书Chapter4时，跑的实验。4.1.4 Fisher‘s Linear Discriminatefunction [w y1 y2 Jw] = FisherLinearDiscriminat(data, label)% FLD Fisher Linear Discriminant.% data : D*N data% label :

使用Matlab实现了二分类的SVM，优化技术使用的是Matlab自带优化函数quadprog。只为检查所学，更为熟悉；不为炫耀。也没有太多时间去使用更多的优化方法。function model = svm0311(data,options)%SVM0311 解决2分类的SVM方法，优化使用matlab优化工具箱quadprog函数实现%by LiFeiteng email:

背景：PRML 第9章  9.2Mixtures of Gaussians 中算法实现function model = gmmEM(data,K,option)%% K 为model数% Reference: PRML p438-439tic if nargin < 3 option.eps = 1e-12; option.maxiter = 1000;

学习机器学习的时候，基本都是在用Matlab、Python写算法，做测试；由于最近要用OpenCV写作业，兴起看了看OpenCV的机器学习模块(The Machine Learning Library——MLL)。来看看MLL的主要构成：Statistical Model是个基类，下面的K-NN、SVM等都是其子类。不太喜欢这个Statistical定语，Statistics在ML

距上次看Face Recognition的论文已一年有余早闻 Robust Face Recognition 引用很高，看了之后，确实实验部分很暴力：近10个实验里面跟 Eigenfaces Fisherfaces Laplacianfaces 都有比较1.M. Turk and A. Pentland, “Eigenfaces for Recognition,” Proc.

聚类 二维空间中六个数据点集

聚类 三维空间中分布在两条直线上的点

LIBSVM是一个famous的SVM包，作者林智仁副教授，其近年因为此包的广泛使用被评为IEEE的Fellow。——“平凡的事情也能...”参考文献：1.LIBSVM: A Library for Support Vector Machines2.A practical guide to support vector classi cation.2003,C.-W. Hsu, C

本文介绍：OpenCV机器学习库MLL中随机森林Random Trees的使用参考文献：1.Breiman, Leo (2001). "Random Forests". Machine Learning 2.Random Forests网站不熟悉MLL的参考此文：OpenCV机器学习库MLLOpenCV的机器学习算法都比较简单：train ——>predictc

本文根据Andrew Ng的Machine Learning的课写就。=======================================一、预测电影评分==========================================全文以“预测电影评分”例子展开r(i,j)=0则表明user_j没有对movie_i 没有评分，推荐系统要做的就是通过预测use

# DNN给定输入input* FeedForward  Let a_0 = input vector     For i in 1, 2 ... layers:      $$z_i = W_i * a_{i-1} + b_i$$$$a_i = f(z_i)$$通常 $f$ 是 $Sigmoid$ 或 $ReLU$ 函数