shuiziliu1025的博客

Logistic（逻辑斯谛）回归是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型（maximumentropy model）。Logistic 回归与最大熵模型都属于对数线性模型。1.逻辑斯谛分布设 X 是连续随机变量， X 服从逻辑斯谛分布指具有下列分布函数和密度函数：回归与最大熵模型" TITLE="Logistic 回归与最大熵模型"

转载：http://blog.youkuaiyun.com/zouxy09/article/details/8781543Deep Learning（深度学习）学习笔记整理系列9.5、Convolutional Neural Networks卷积神经网络       卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结

Deep Learning（深度学习）学习笔记整理系列十、总结与展望1）Deep learning总结      深度学习是关于自动学习要建模的数据的潜在（隐含）分布的多层（复杂）表达的算法。换句话来说，深度学习算法自动的提取分类需要

方法一：设置两个指针pre，last，慢的跳一步，快的跳两步，往链表末端方向移动，当慢的指针追赶上快的指针的时候说明单向链表有环。node *pre = head;node *last = head;while(pre! = NULL && last != NULL){ pre = pre->next->next; last = pre->next; if(pre

1、灯管问题 Q：在房间里有三盏灯，房外有三个开关，在房外看不见房内的情况下，你只能进门一次，请问用什么方法来区分哪个开关控制哪盏灯？A：先打开第一个开关，让它开一会再关上，然后打开第二个开关进入房间再摸下每个灯，发热的那盏是第一个开关的，亮的那盏是第二个开关的，没有温度的那盏是第三个开关的。2、最多能喝多少瓶啤酒 Q：假如每3个空啤酒瓶可以换一瓶啤酒，某人买了10瓶啤酒，那么他最多可以喝到多少

这两种算法都是常见的分类算法，从目标函数来说，区别在于logistic回归采用的是log对数损失函数L(Y,P(Y|X))=-log(P(Y|X))，SVM采用的是hingle loss.损失函数的目的都是增加对分类影响较大的数据点的权重，减小对分类影响小的数据点的权重。 SVM只考虑support vectors，也就是和分类最相关的少数点，去学习分类器。而logistic回归通过非线性映射，大

转载自：http://blog.youkuaiyun.com/zouxy09/article/details/24971995/#comments 机器学习中的范数规则化之（一）L0、L1与L2范数zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊

机器学习中的范数规则化之（二）核范数与规则项参数选择zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09上一篇博文，我们聊到了L0，L1和L2范数，这篇我们絮叨絮叨下核范数和规则项参数选择。知识有限，以下都是我一些浅显的看法，如果理解存在错误，希望大家不吝指正。谢谢。三、核范数核范数||W||*是指矩阵奇异值的和，英文称呼叫Nuclear Norm。这个相对于上面火热

转载自：http://blog.youkuaiyun.com/lilyth_lilyth/article/details/8973972梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种不同的迭代求解思路，下面从公式和实现的角度对两者进行分析。 下面的h(x)是要拟合的函数，J(theta)损失函数，theta是参数，要迭代求解的值，theta求解出来了那最终要拟合的函

转载：http://blog.youkuaiyun.com/zouxy09/article/details/8781396Deep Learning（深度学习）学习笔记整理系列9.3、Restricted Boltzmann Machine (RBM)限制波尔兹曼机       假设有一个二部图，每一层的节点之间没有链接，一层是可视层，即输入数据层（v)，一层是隐藏层(h)，如果假设所

转载：http://blog.youkuaiyun.com/zouxy09/article/details/8775518Deep Learning（深度学习）学习笔记整理系列zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09作者：Zouxyversion 1.0 2013-04-08声明：1）该Deep Lea

1. AdaBoost原理 AdaBoost，是英文"AdaptiveBoosting"（自适应增强）的缩写，由Yoav Freund和RobertSchapire在1995年提出。它的自适应在于：前一个基本分类器分错的样本会得到加强，加权后的全体样本再次被用来训练下一个基本分类器。同时，在每一轮中加入一个新的弱分类器，直到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。

支持向量机（SVM）是一种两类分类模型，基本模型是定义在特征空间上的间隔最大的线性分类器。它还包括核技巧，这使它成为实质上的非线性分类器。SVM的学习策略就是间隔最大化。假设给定一个特征空间上的训练数据集T={(x1,y1),(x2,y2),......(xN,yN)}, N 为特征数目，yi为标记。(xi,yi)为样本点。学习的目标是在特征空间中找到一个超平面，能够将实例分到不同的类。一、

之前的一篇博文里介绍的是基于用户的协同过滤算法http://blog.sina.com.cn/s/blog_dac9ee630102vhmh.html 但是该算法随着用户数目增多的情况下计算用户兴趣相似性矩阵将越来越困难，其运算复杂度空间复杂度的增长和用户的增长接近于平方的关系。所以就出现了基于物品的协同过滤算法（ItemCF:item-based collaborative filteing）

最近正在读项亮博士的《推荐系统实践》人民邮电出版社，这本书应当是目前国内为数不多的介绍推荐算法的了。目前正在学习基于用户的协同过滤算法（UserCF :user-based collaborative filtering)。 该算法是推荐系统中最古老的算法，标志着推荐系统的诞生，该算法在1992年提出用于邮件过滤系统，1994年被GroupLens用于新闻过滤。算法的主要思想是如果一个

转载： http://blog.youkuaiyun.com/zouxy09/article/details/8775360Deep Learning（深度学习）学习笔记整理系列zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09作者：Zouxyversion 1.0  2013-04-08 声明：1）该Deep

转载：http://blog.youkuaiyun.com/zouxy09/article/details/8775524Deep Learning（深度学习）学习笔记整理系列zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09作者：Zouxyversion 1.0 2013-04-08声明：1）该Deep Lea

转载：http://blog.youkuaiyun.com/zouxy09/article/details/8775488Deep Learning（深度学习）学习笔记整理系列zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09作者：Zouxyversion 1.0 2013-04-08声明：1）该Deep Lea

转载：http://blog.youkuaiyun.com/zouxy09/article/details/8777094Deep Learning（深度学习）学习笔记整理系列zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09作者：Zouxyversion 1.0 2013-04-08声明：1）该Deep Lea

转载自：http://blog.youkuaiyun.com/w28971023/article/details/8240756GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SV