<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/hellowos</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; hellowos]]></copyright><item><title><![CDATA[最速下降法/steepest descent，牛顿法/newton，共轭方向法/conjugate direction，共轭梯度法/conjugate gradient 及其他]]></title><link>https://blog.youkuaiyun.com/hellowos/article/details/24196709</link><guid>https://blog.youkuaiyun.com/hellowos/article/details/24196709</guid><author>hellowos</author><pubDate>Sun, 20 Apr 2014 21:06:08 +0800</pubDate><description><![CDATA[转载须注明出处：http://www.codelast.com/

 

在最优化的领域中，这“法”那“法”无穷多，而且还“长得像”——名字相似的多，有时让人觉得很迷惑。

在自变量为一维的情况下，也就是自变量可以视为一个标量，此时，一个实数就可以代表它了，这个时候，如果要改变自变量的值，则其要么减小，要么增加，也就是“非左即右“，所以，说到“自变量在某个方向上移动”这个概念的时候，它]]></description><category></category></item><item><title><![CDATA[再谈 最速下降法/梯度法/Steepest Descent]]></title><link>https://blog.youkuaiyun.com/hellowos/article/details/24196661</link><guid>https://blog.youkuaiyun.com/hellowos/article/details/24196661</guid><author>hellowos</author><pubDate>Sun, 20 Apr 2014 21:05:07 +0800</pubDate><description><![CDATA[转载请注明出处：http://www.codelast.com/

最速下降法（又称梯度法，或Steepest Descent），是无约束最优化领域中最简单的算法，单独就这种算法来看，属于早就“过时”了的一种算法。但是，它的理念是其他某些算法的组成部分，或者说是在其他某些算法中，也有最速下降法的“影子”。因此，我们还是有必要学习一下的。
我很久以前已经写过一篇关于最速下降法的文章了，但是这里]]></description><category></category></item><item><title><![CDATA[line search中的重要定理 - 梯度与方向的点积为零]]></title><link>https://blog.youkuaiyun.com/hellowos/article/details/24196607</link><guid>https://blog.youkuaiyun.com/hellowos/article/details/24196607</guid><author>hellowos</author><pubDate>Sun, 20 Apr 2014 21:04:21 +0800</pubDate><description><![CDATA[转载请注明出处：http://www.codelast.com/

对精确的line search（线搜索），有一个重要的定理：




∇f(xk+αkdk)Tdk=0


这个定理表明，当前点在dk方向上移动到的那一点（xk+αkdk）处的梯度，与当前点的搜索方向dk的点积为零。

其中，αk是称之为“步长”的一个实数，它是通过line
 search算法求出来的。]]></description><category></category></item><item><title><![CDATA[迁移学习&自我学习]]></title><link>https://blog.youkuaiyun.com/hellowos/article/details/24131275</link><guid>https://blog.youkuaiyun.com/hellowos/article/details/24131275</guid><author>hellowos</author><pubDate>Sat, 19 Apr 2014 19:52:14 +0800</pubDate><description><![CDATA[最近在看Ng的深度学习教程，看到self-taught learning的时候，对一些概念感到很陌生。作为还清技术债的一个环节，用半个下午的时间简单搜了下几个名词，以后如果会用到的话再深入去看。

        监督学习在前一篇博客中讨论过了，这里主要介绍下迁移学习、自我学习。因为监督学习需要大量训练样本为前提，同时对训练样本的要求特别严格，要求训练样本与测试样本来自于同一分布。要是满足不了]]></description><category></category></item><item><title><![CDATA[Sparsity and Some Basics of L1 Regularization]]></title><link>https://blog.youkuaiyun.com/hellowos/article/details/24063747</link><guid>https://blog.youkuaiyun.com/hellowos/article/details/24063747</guid><author>hellowos</author><pubDate>Sat, 19 Apr 2014 00:02:25 +0800</pubDate><description><![CDATA[Sparsity 是当今机器学习领域中的一个重要话题。John Lafferty 和 Larry Wasserman 在 2006 年的一篇评论中提到：


Some current challenges … are high dimensional data, sparsity, semi-supervised learning, the relation between computat]]></description><category></category></item><item><title><![CDATA[漫谈 Clustering (5): Hierarchical Clustering]]></title><link>https://blog.youkuaiyun.com/hellowos/article/details/24041859</link><guid>https://blog.youkuaiyun.com/hellowos/article/details/24041859</guid><author>hellowos</author><pubDate>Fri, 18 Apr 2014 19:00:40 +0800</pubDate><description><![CDATA[本文是“漫谈 Clustering 系列”中的第 8 篇，参见本系列的其他文章。




系列不小心又拖了好久，其实正儿八经的 blog 也好久没有写了，因为比较忙嘛，不过觉得 Hierarchical Clustering 这个话题我能说的东西应该不多，所以还是先写了吧（我准备这次一个公式都不贴  ）。Hierarchical
 Clustering 正如它字面上的意思那样，是层次化]]></description><category></category></item><item><title><![CDATA[漫谈 Clustering (番外篇): Dimensionality Reduction]]></title><link>https://blog.youkuaiyun.com/hellowos/article/details/24041679</link><guid>https://blog.youkuaiyun.com/hellowos/article/details/24041679</guid><author>hellowos</author><pubDate>Fri, 18 Apr 2014 18:57:40 +0800</pubDate><description><![CDATA[http://blog.pluskid.org/?p=290


本文是“漫谈 Clustering 系列”中的第 7 篇，参见本系列的其他文章。

由于总是有各种各样的杂事，这个系列的文章竟然一下子拖了好几个月，（实际上其他的日志我也写得比较少），现在决定还是先把这篇降维的日志写完。我甚至都以及忘记了在这个系列中之前有没有讲过“特征”（feature）的概念了，这里不妨再稍微提一下。机]]></description><category></category></item><item><title><![CDATA[漫谈 Clustering (4): Spectral Clustering]]></title><link>https://blog.youkuaiyun.com/hellowos/article/details/24041609</link><guid>https://blog.youkuaiyun.com/hellowos/article/details/24041609</guid><author>hellowos</author><pubDate>Fri, 18 Apr 2014 18:56:19 +0800</pubDate><description><![CDATA[转：

本文是“漫谈 Clustering 系列”中的第 6 篇，参见本系列的其他文章。

如果说 K-means 和 GMM 这些聚类的方法是古代流行的算法的话，那么这次要讲的
 Spectral Clustering 就可以算是现代流行的算法了，中文通常称为“谱聚类”。由于使用的矩阵的细微差别，谱聚类实际上可以说是一“类”算法。

Spectral Clustering 和传统的]]></description><category></category></item><item><title><![CDATA[漫谈 Clustering (番外篇): Expectation Maximization]]></title><link>https://blog.youkuaiyun.com/hellowos/article/details/24041545</link><guid>https://blog.youkuaiyun.com/hellowos/article/details/24041545</guid><author>hellowos</author><pubDate>Fri, 18 Apr 2014 18:55:13 +0800</pubDate><description><![CDATA[转：http://blog.pluskid.org/?p=81

本文是“漫谈 Clustering 系列”中的第 5 篇，参见本系列的其他文章。

Expectation Maximization (EM) 是一种以迭代的方式来解决一类特殊最大似然 (Maximum Likelihood) 问题的方法，这类问题通常是无法直接求得最优解，但是如果引入隐含变量，在已知隐含变量的值的情况下，就]]></description><category></category></item><item><title><![CDATA[漫谈 Clustering (追忆篇): Regularized GMM]]></title><link>https://blog.youkuaiyun.com/hellowos/article/details/24041477</link><guid>https://blog.youkuaiyun.com/hellowos/article/details/24041477</guid><author>hellowos</author><pubDate>Fri, 18 Apr 2014 18:54:12 +0800</pubDate><description><![CDATA[我之前写过一篇介绍 Gaussian Mixture Model (GMM) 的文章，并在文章里贴了一段 GMM 实现的 Matlab 示例代码，然后就不断地有人来问我关于那段代码的问题，问得最多的就是大家经常发现在跑那段代码的时候估计出来的 Covariance Matrix 是 singular
 的，所以在第 96 行求逆的时候会挂掉。这是今天要介绍的主要话题，我会讲得罗嗦一点，把关于那篇]]></description><category></category></item><item><title><![CDATA[漫谈 Clustering (3): Gaussian Mixture Model]]></title><link>https://blog.youkuaiyun.com/hellowos/article/details/24041399</link><guid>https://blog.youkuaiyun.com/hellowos/article/details/24041399</guid><author>hellowos</author><pubDate>Fri, 18 Apr 2014 18:51:55 +0800</pubDate><description><![CDATA[本文是“漫谈 Clustering 系列”中的第 4 篇，参见本系列的其他文章。




上一次我们谈到了用 k-means 进行聚类的方法，这次我们来说一下另一个很流行的算法：Gaussian Mixture Model (GMM)。事实上，GMM 和 k-means 很像，不过 GMM 是学习出一些概率密度函数来（所以 GMM 除了用在 clustering 上之外，还经常被用于
]]></description><category></category></item><item><title><![CDATA[漫谈 Clustering (2): k-medoids]]></title><link>https://blog.youkuaiyun.com/hellowos/article/details/24036637</link><guid>https://blog.youkuaiyun.com/hellowos/article/details/24036637</guid><author>hellowos</author><pubDate>Fri, 18 Apr 2014 17:35:03 +0800</pubDate><description><![CDATA[本文是“漫谈 Clustering 系列”中的第 2 篇，参见本系列的其他文章。

上一次我们了解了一个最基本的 clustering 办法 k-means ，这次要说的 k-medoids 算法，其实从名字上就可以看出来，和 k-means 肯定是非常相似的。事实也确实如此，k-medoids 可以算是 k-means 的一个变种。

k-medoids 和 k-means 不一样的地方]]></description><category></category></item><item><title><![CDATA[漫谈 Clustering (1): k-means]]></title><link>https://blog.youkuaiyun.com/hellowos/article/details/24034985</link><guid>https://blog.youkuaiyun.com/hellowos/article/details/24034985</guid><author>hellowos</author><pubDate>Fri, 18 Apr 2014 17:21:13 +0800</pubDate><description><![CDATA[本文是“漫谈 Clustering 系列”中的第 1 篇，参见本系列的其他文章。

好久没有写 blog 了，一来是 blog 下线一段时间，而租 DreamHost 的事情又一直没弄好；二来是没有太多时间，天天都跑去实验室。现在主要折腾 Machine Learning 相关的东西，因为很多东西都不懂，所以平时也找一些资料来看。按照我以前的更新速度的话，这么长时间不写 blog 肯定是要被闷]]></description><category></category></item><item><title><![CDATA[漫谈 Clustering (番外篇): Vector Quantization]]></title><link>https://blog.youkuaiyun.com/hellowos/article/details/24034571</link><guid>https://blog.youkuaiyun.com/hellowos/article/details/24034571</guid><author>hellowos</author><pubDate>Fri, 18 Apr 2014 17:17:41 +0800</pubDate><description><![CDATA[zhuhttp://blog.pluskid.org/?p=57


本文是“漫谈 Clustering 系列”中的第 3 篇，参见本系列的其他文章。

在接下去说其他的聚类算法之前，让我们先插进来说一说一个有点跑题的东西：Vector Quantization 。这项技术广泛地用在信号处理以及数据压缩等领域。事实上，在 JPEG 和 MPEG-4 等多媒体压缩格式里都有 VQ 这一步。]]></description><category></category></item><item><title><![CDATA[GIST特征描述符使用]]></title><link>https://blog.youkuaiyun.com/hellowos/article/details/23949815</link><guid>https://blog.youkuaiyun.com/hellowos/article/details/23949815</guid><author>hellowos</author><pubDate>Thu, 17 Apr 2014 17:51:35 +0800</pubDate><description><![CDATA[一种场景特征描述

场景特征描述？

通常的特征描述符都是对图片的局部特征进行描述的，以这种思路进行场景描述是不可行的。

比如：对于“大街上有一些行人”这个场景，我们必须通过局部特征辨认图像是否有大街、行人等对象，再断定这是否是满足该场景。但这个计算量无疑是巨大的，且特征向量也可能大得无法在内存中存储计算。

例如即使使用GIST进行1MB的图像数据搜索，也需要3.8GB的RAM]]></description><category></category></item><item><title><![CDATA[对数线性模型之一(逻辑回归), 广义线性模型学习总结]]></title><link>https://blog.youkuaiyun.com/hellowos/article/details/23792433</link><guid>https://blog.youkuaiyun.com/hellowos/article/details/23792433</guid><author>hellowos</author><pubDate>Tue, 15 Apr 2014 22:42:17 +0800</pubDate><description><![CDATA[经典线性模型自变量的线性预测就是因变量的估计值。 广义线性模型：自变量的线性预测的函数是因变量的估计值。常见的广义线性模型有：probit模型、poisson模型、对数线性模型等等。对数线性模型里有：logistic regression、Maxinum entropy。本篇是对逻辑回归的学习总结，以及广义线性模型导出逻辑回归的过程。下一篇将是对最大熵模型的学习总结。本篇介绍的大纲如下：

1]]></description><category></category></item><item><title><![CDATA[熵、条件熵、互信息等概念]]></title><link>https://blog.youkuaiyun.com/hellowos/article/details/23783319</link><guid>https://blog.youkuaiyun.com/hellowos/article/details/23783319</guid><author>hellowos</author><pubDate>Tue, 15 Apr 2014 20:11:26 +0800</pubDate><description><![CDATA[转：

关于这些概念看过很多次了，但一直都记不住，索性用笔记形式记下来备查吧。

1. 熵Entropy

关于熵的基本概念就不说了，可以认为是用来描述随机变量的不确定性，也可以说是用来描述随机变量平均信息量（信息量用编码长度表示，熵即为编码长度的期望形式）。公式如下：


H(X)=−∑x∈Xp(x)logap(x)

当a=2时，即熵的单位为比特。可以看到，当有必然事件p]]></description><category></category></item><item><title><![CDATA[MaxEnt: 最大熵模型(Maximum Entropy Models)(二)]]></title><link>https://blog.youkuaiyun.com/hellowos/article/details/23779429</link><guid>https://blog.youkuaiyun.com/hellowos/article/details/23779429</guid><author>hellowos</author><pubDate>Tue, 15 Apr 2014 18:46:43 +0800</pubDate><description><![CDATA[转

上面《MaxEnt: 最大熵模型(Maximum Entropy Models)(一)》其实就是讲了下熵，下面我们继续最大熵模型(Maximum Entropy Models)。

最大熵原理指出，当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大]]></description><category></category></item><item><title><![CDATA[MaxEnt: 最大熵模型(Maximum Entropy Models)(一)]]></title><link>https://blog.youkuaiyun.com/hellowos/article/details/23779367</link><guid>https://blog.youkuaiyun.com/hellowos/article/details/23779367</guid><author>hellowos</author><pubDate>Tue, 15 Apr 2014 18:45:35 +0800</pubDate><description><![CDATA[转

刚看完HMM，因为有个ME-HMM方法，所以再看看最大熵模型，最后再把CRF模型看看，这一系列理论大体消化一下，补充一下自己的大脑，方便面试什么的能够应付一些问题。

多读书，多思考，肚子里才有东西。

==========



什么是熵？咱们这里只看信息以及自然界的熵吧。《Big Bang Theory》中Sheldon也经常把这个熵挂在嘴边。在咱们的生活中，你打碎了]]></description><category></category></item><item><title><![CDATA[自然图像抠图/视频抠像技术发展情况梳理（image matting, alpha matting, video matting）--计算机视觉专题1]]></title><link>https://blog.youkuaiyun.com/hellowos/article/details/23674541</link><guid>https://blog.youkuaiyun.com/hellowos/article/details/23674541</guid><author>hellowos</author><pubDate>Mon, 14 Apr 2014 13:52:56 +0800</pubDate><description><![CDATA[自然图像抠图/视频抠像技术发展情况梳理


Sason@优快云


持续更新.

当前更新日期2013.03.05, 添加Fast Mating、Global Matting、视频扣像。

当前更新日期2013.04.23, 添加2本Computer Vision书籍中相关章节。


当前更新日期2013.07.21, 添加CVPR 2013中2篇论文。

当前更新]]></description><category></category></item></channel></rss>