SophieZhou的专栏

有位网友推荐了关于几个算法的notes，记录一下，可能过几天真要具体用到这些算法，说不定可以回头再认真阅读，以供参考。http://hi.baidu.com/flyer_hit/blog/item/5f1c23ddd3862f3c5882dd6f.html摘自这里。其中有EM,KL,PLSA三种算法模型的notes。这三种算法的notes均是牛人ChengXiang Zhai 在其课程

Rethinking LDA: Why Priors Matter该文章测试，lda中，如果先验参数alpha是非对称的，效果会比symmetric更好。记得之前看过一篇文章，具体文章名称实在是想不起来了，好像记得那个时候还在和讯博客记录了一下，现在是死活找不到了，真是丢三落四啊。言归正传，记得那篇文章中也提到了，对称lda的效果和PLSA还是LSA等价的？

这几天看推荐系统，系统看了一下mahout的基于item-based的推荐系统。大概因为我是一个编程菜鸟，所以对开源的东西，一直不怎么热心。我的关注点在算法上，不在程序上。这个玩意虽然听说那么久了，可真正去了解，也是最近。感觉写的还是很不错的，至少开始时，如果你想在别人的代码基础上改改来用，这个还是很好的参考的。而且感觉现在mahout做的越来越普及了，都涉及到dirichlet了。再者，

今天再回头看plda，因为看到Distributed Inference for Latent DirichletAllocation这个文章，还有一个Fully Distributed EM for Very Large Datasets我就在想，plda比这两个好在哪里，又大概浏览了文章，还是没明白。明天再好好看看……

http://engineering.twitter.com/2012/11/dimension-independent-similarity.html这篇博客，还有其中的文章。在twitter，计算用户与用户之间的相似度时，每个用的feature就是一条又一条的tweet，而这些tweet的sparse应该是很高的。在计算相似度时，如果我们就这么算下去，会很浪费的，同时，

a few useful things to know about machine learning， 可以到主页下载：http://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf该文章，是在微博上看到的，就下载下来看了看。有不少博客也提到呢。learning=representation+evaluation+optimizat

每次安装都是不完整，这次配置又出问题，于是决定从头开始安装。首先，windows7 32位的系统。首先安装python2.7,官网下载的，安装路径是c:\python2.7因为之前虽然安装的不完整，但是我已经配置好环境变量等参数了。具体Path添加 C:\Python27;C:\Python27\Scripts，而PYTHONPATH添加C:\Python27;C:\P

svm histogram intersection kernel据说速度很快的，维度也会降低，看看。

其实我是来提问题的，不是来解答问题的。

这几天决定把regression好好梳理一下，然后来做笔记。

最近想看看libsvm工具，如果英文资料不想看，可以看看这里，真是不错。http://blog.youkuaiyun.com/carson2005/article/details/6539192http://blog.youkuaiyun.com/marising/article/details/5844063另外，svm的分类是无法实现分布式的，所以数据量大时就难以解决了。

熵，在热力学里和在信息论中均有提到。其实，我觉得这两个熵不仅仅计算公式一样，含义也是一样的。熵越大，系统越稳定。在信息论中，一般我们是想要熵小的系统，这样的系统表示我们对该系统的认知越多，但是，我觉得反应在图像中，就是一个脉冲分布，在某一个状态上出现极值点，而在别的地方出现的是0。其实，换句话说，我们都知道，脉冲分布的稳定性很差的。所以，在信息论中和在热力学中，熵的含义是一致的。

numerical optimization把能够通过矩阵计算直接得到解的问题转换为迭代的方式进行求解。这种方式尤其适合large problem，当数据维度特别大时，你只好用迭代的方式，否则矩阵的计算能够算死你。当然在计算过程中，会有各种各样的问题，迭代方向和迭代步长问题，就是最核心的参数吧。因为看到这个，我突然想到，为什么之前我一直没用到numerical optimization

摘自：beal ph.d thesis  variational algorithms for approximate bayesian inference The key to the variational method is to approximate the integral with a simpler form that is tractable, forming a lower

将一个复杂的难以求解的联合概率分解为几个容易求解的概率分布的成绩，使得概率分布的成绩逼近联合概率。为了保证逼近联合概率，取使得联合概率和几个概率分布的熵最小的时候为最优值。

吴军的《数学之美》系列数学之美 一 统计语言模型 数学之美 二 谈谈中文分词 数学之美 三 隐含马尔科夫模型在语言处理中的应用 数学之美 四 怎样度量信息？ 数学之美 五 简单之美：布尔代数和搜索引擎的索引 数学之美 六 图论和网络爬虫(Web Crawlers) 数学之美 七 信息论在信息处理中的应用 数学之美 八 贾里尼克的故事和现代语言处理 数

读文章读的有点累，很多问题需要弄清楚和思考。这种负荷下的工作，让我手机费都少了很多。

<br />推荐系统和搜索排名的区别和联系<br /> <br />初步想了想，觉得两者之间有以下关联和区别应该：<br /> <br />搜索推荐：主要是根据字符串匹配的方式来实现的推荐和排名，可能大多数并不关心内容和主题是否一致，更多的是用户输入的关键字和索引关键字的字符串匹配度大小。<br /> <br />推荐系统：由于用户喜欢看历史小说，所以下次推荐书时仍然是历史小说，我认为这与搜索排名不同。首先我们要将用户的数据按照主题进行归类，而后将该类别的数据和用户的数据进行比较后，进行推荐等工作。因此，工

<br />http://www.cnblogs.com/phinecos/archive/2008/10/21/1315948.html<br /> <br />这里博客将这两者阐述的很好，备忘一下。

计划：这半年内，把机器学习或者说模式识别中的每一个典型算法看懂，然后实现了。

推荐系统的牛人，其中其09年的iui的文章是best，Tagsplanations Explaining Recommendations using TagsJohn Riedl    url  http://www-users.cs.umn.edu/~riedl/计算广告学的yahoo牛人，Andrei_Broderhttp://research.yahoo.com/Andr

http://justindomke.wordpress.com/logistic-regression/http://research.microsoft.com/en-us/um/people/minka/http://www.dcs.bbk.ac.uk/~zheng/http://www.cnblogs.com/vivounicorn/ar

呵呵follow 别人的工作，开始kand