mlnotes

对于解可以用向量或者矩阵表示的问题，可以采用随机优化的算法来求近似最优解。前提:1）解是向量或者矩阵2）最优解与其他次优解临近算法：随机优化，爬山法，模拟退火，遗传随机算法：完全随机爬山法：找到的可能是局部最优解模拟退火：按概率接受更差的解遗传：变异和交叉

背景知识最小角回归和模型选择比较像，是一个逐步的过程，每一步都选择一个相关性最大的特征，总的运算步数只和特征的数目有关，和训练集的大小无关。最小角回归训练时的输入为特征矩阵 X={X1,X2,...,XP}，和期输出向量Y={y1,y2,...,yN}，Xi 是长度为N的矩阵，N表示训练集的大小，P则是特征的数目。还有一点需要注意的是，向量Xi 和 Y 都是正则化之后的向量，即它们的元素的均值

在机器学习中，我们经常使用最小平方差来评估模型的好坏，一般而言，最小平方差越小则模型越好。而最小平方差实际上是由bias和variance两部分组成的，且这两部分不能被同时缩小。所以为了使得最小平方差最小，我们需要在bias和variance之间做一些tradeoff。由于这篇文章涉及很多的数学公式，而优快云的博客不支持Latex语法，因而只能将这篇文章发布在自己的博客上。详细内容请点击

1.确保机器上安装了gfortran编译器，如果没有安装的话，可以使用sudo apt-get install gfortran2.下载blas, cblas, lapack 源代码， 这些源码都可以在 http://www.netlib.org 上找到，下载并解压。这里提供我安装时的下载链接 http://www.netlib.org/blas/blas.tgz http://www.netli

#!/usr/bin/pythonfrom math import sqrtdef genUserBasedMap(file = 'u.data'):    map = {}    f = open(file)    for line in f:        (user, item, rate) = line.split('\t')[0:3]        map.setdefault(int(

统计语言概率

#!/usr/bin/pythonfrom math import sqrtdef euclidean(v1, v2):    length = min(len(v1), len(v2))    if length == 0: return 0        d = 0    for i in range(length):        d += pow((v1[i] - v2[i]), 2)

#!/usr/bin/pythonimport syssys.path.append('..')import modules.similarity as sim # http://hi.baidu.com/bithigher/item/6ca6844ac29d0128fb896026  import randomwords = []blogs = []data = []def getData(fi

void cblas_dgemm (   const enum CBLAS_ORDER Order,   const enum CBLAS_TRANSPOSE TransA,   const enum CBLAS_TRANSPOSE TransB,   const int M,   const int N,   const int K,   const double alpha,   const

使用MCMC或者Gibbs取样来简化梯度下降的计算过程

原版文章请点击 Cholesky Decomposition三角矩阵三角矩阵首先是方阵，其次，如果这个方阵对角线上面或下面（不含对角线）的元素都为0的话，那么这个矩阵就被称为三角矩阵。如果是上面的元素都为0，则称之为下三角矩阵，反之则是上三角矩阵。上三角矩阵⎡⎣⎢⎢⎢⎢⎢a1100...0a12a220...0............0..a1na2na3n....ann⎤⎦⎥