SophieZhou的专栏

跟着台湾的machine learning，听了几大节课，感觉很有收获。弥补了我这个从来不上IT任何课程的人，在AI上的入门概念。于是，想去看看别的课程，尤其是有名的andrew ng的课程。以前都是一点一点下载的，这次想懒点吧，批量下载。我家那位用迅雷批量下载的，吼吼，下载完没什么结构了，很费劲。上网找资料，于是乎开始我几个小时的折腾。主要是折腾在pip上了，妈的，原谅我

Making Gradient Descent Optimal for Strongly Convex Stochastic Optimization对梯度下降的优化问题做了调查，standard的SGD到底是优化还是suboptimal，尝试给了些答案。或许过几天在实现算法时能用到，mark一下。

http://hi.baidu.com/haigang/item/c9e9061488ff845f2a3e22eeps显示UID, 而不是用户名问题：ps的UID一项，大部分都显示的是用户名，username,但是有的会显示UID。原因：当username大于8个字符，就会在显示的时候由UID来替代。在/usr/share/doc/procps....目录下有个todo

今天系统看了cf的总数，关于memory-based, model-based, 还是content-based, hybrid，因为这几年recommender是热门，所以大概大家都熟悉。只是有一个地方我觉得挺有意思的啦，就是markov-decision processes cf。是不是从理论上说，这个更靠谱些啊。其实吧，总是一个动态链状结构吧，只要update的够及时，是不是会很perfec

使用win登陆ssh时，通常需要用xshell,xftp.不要装xshell，因为有很多都没有集成的ftp。使用xmanager软件。

今天看了阮一峰的博客，系统浏览了排名算法。虽然我不做排名，但是感觉其实和我在做的targeting特别类似，我觉得我们用的正是Hacker News排名。

http://www.ruanyifeng.com/blog/2012/02/ranking_algorithm_hacker_news.html里面的内容很好，可以不断去学习学习。

今天和mentor一起讨论了一下。聊聊好多了，对现在的安排已经很清晰了。首先，再次有人提出我的基础差，要多看几本书，好吧。我不能再拖延了。从prml, convex optimization, statistical learning开始吧。在我工作满一年前，努力把这几本书看完。另外，我觉得我有必要再看看information theory, inference and learn

最近打算把这几个好好看看。最近一直做工程做的比较烦，热情也减低了，所以其余时间多看文章，总结一下，准备实现一个模型看看效果。

twitter 和facebook的很多文章还是值得学习的，尤其是其工程性特别强。http://www.umiacs.umd.edu/~jimmylin/publications/index.html大多是关于twitter的文章。http://pleasescoopme.com/是另外一个人在facebook，常常有一些报告和文章note出来，很不错。

最近在思考自己一直在做的一个project，我希望能够改变现有思路，进行优化。本来想可能multiracial logistic regression会合适，但是看了看，觉得不合适。我想要的是一种多种情况同时出现的推荐，并不是单一个。我觉得可能类似于排序或者推荐。这几天好好想想，尽快实现。

上次电脑联网，上级了，结果IE10不能登录我们内网，悲剧了。安装新的又不能安装，

git fetch origin master

这几天在搭建使用某高校的高性能计算中心的环境，真心fan

simhash在我看来，这个也不算简单啊，计算量仍然很大，尤其是我比较讨厌的是feature的庞大，对文本来说。吼吼。google在2002年的文章，Similarity Estimation Techniques from Rounding Algorithms。http://grunt1223.iteye.com/blog/964564http://www.cnbl

这几天整理一下，希望自己能够在产假结束前看完一本书吧。最近觉得自己数学尤其是需要补充。convex optimization, linear optimization, numerical optimization, elements of statistics, 这些书都是看的一星半点的，希望能看完几本吧。真心觉得工作后，比读书时看书少多了，最近看到deep learning很火

计划先用简单的LU分解来做一下，跑一下，反正最后数据能够将纬度降低到K个，相对于large data ，编程几百维的已经很不错了。所以，先用LU分解实现看看。另外，当维度很高时，怎么办呢，要用迭代的办法，NO上讲了，可是我总是觉得不是最佳方法，因为我的矩阵不是正定的，问了一下同事，给了个资料，备注一下，以后参考吧，看来iterative的方法还不少呢。http://www.stanfo

可以参考一下博客：http://somemory.com/myblog/?post=19我觉得总结的很好，所以转来一下。

如果svn status时出现?，而add时又出现说 已经纳入版本控制，解决办法是 svn revert path，然后再add。

http://www.oswego.edu/~srp/stats/variable_types.htmResponse VariableThe outcome of a study. A variable you would be interested in predicting or forecasting. Often called a dependent variable

qalculate sudo apt-get install gcalctool

<br />今天做了一个PPT报告。讲的太快了，大家都没听懂。失败，白白准备那么多了，其实我很希望大家能听懂的。<br /> <br />做PPT时，不能讲解的太快了，要一个一个来。我又犯了这个毛病了。<br /> <br /> <br />算法中，公式太多的话，就不要全都罗列了，尽量把推导留到别的地方。如果写上去了，就一点点讲解，不能说，从这推导到这。呵呵。<br /> <br /> <br /> 

<br />在概率图模型中，实现一个算法模型的方法有很多种，但是常用的或者说可行的有两种：MCMC和近似推断。<br /> <br />近似推断的方法中，基本上是基于两种思路的，一是belief propagation，一是变分推断，其中变分推断中，有mean field算法和expectation propagation两种算法。<br /> <br />loopy belief propagation中，定义了factor graph，在此基础上实现近似推断。<br /> <br />mean fiel

<br />我发现了，我老板看我的文章还好不了解这个地方的东西，要不然他会气死的。<br /> <br />文章中有公式写错的，哎，当时写的时候觉得不会错的。我越改自己的文章越发现自己有很多很多地方需要修正，要认真再认真。<br /> <br />虽然我的公式特别多，而且符号也特别多，可写错了公式也是万万要不得的。

<br />查找资料的能力，我觉得这方面我是很强的。只要有电子版的，一般我都能下载到。<br /> <br />下载英文版的文章，我一般在google直接搜索了。基本上都能搜索到。这个是大部分人都用的方式吧。之所以不去IEEE搜索，是因为我觉得这里速度太慢，而一般文章，你能在IEEE搜到，也能在google搜到。所以我很依赖google。现在搬到香港了，经常性不能用，说真的，我觉得非常的sad啊。而到IEEE上，我一般就是因为我订了alerts，有提醒说某一个杂志出新的一期了，或者我想下载一篇文章比较正式的

<br />周末在老公的帮助下，把文章彻底改了一遍。我不得不说，老公是真的掌握了问题的本质。他像当初教我怎么改写程序那样，教我改文章，其实，真的思路是一样的。<br /> <br />首先，就是文章的结构要清晰，这和写程序是一样的，能分成一个个模块来写的，一定要分成模块来写，事实上文章必须要成块的。而能用列举结构的，大可以借用列举结构，这样明了简洁。<br /> <br />再者，要简捷，前后连贯。这是写文章的基本要求。但是有时候容易废话太多，这和写程序差不多，有时候几句程序可以写成一句的，那就写成一句，当

老公说，做算法不赚钱。其实，我认了。我是半路出家的，没学过自动化，没学过控制，也没学过离散数学，八竿子打不着的专业转来学习机器学习、模式识别的，我发现我很喜欢现在的专业和工作内容。所以，我想继续做下去，而是否能赚钱，是否累，这些都已经是次要的了。 不适合做工程，因为我不懂DSP；不适合做coder，因为我没有经过专业的coding培训；因此，我想我适合做算法，因为我喜欢。赚钱多少，

<br />说实话最近调试程序整的有点恶心了。不过正经工作还是要干的。没办法，硬着头皮往前走。<br /> <br />实现gaussian-wishart分布的采样和likelihood的计算，predictive的计算。在计算过程中，我用到了矩阵的乘法和求逆矩阵，这两个小函数也是让我出错的一个地方，在求逆矩阵时，调用的函数将原来矩阵改变了。这个我没注意到，其实，我采用的程序写的不好，一般函数输入都不改变输入的，如果要有值的话，一般放在输出或者返回值了。可找的程序这样写的，我这个大意了。求行列式的地方也是

<br />这次跟老板一起写文章，学到了很多东西。<br /> <br />首先，要严谨，该引用的一定要引用。<br />然后，用词一定要精要，精确、切中核心。避免罗嗦，比如，“在介绍**前，我们首先介绍什么。”老板说这句话前面半句是废话，你不用说，别人也知道。<br /> <br />我觉得还有另外一点，“从两个方面介绍**，首先**，然后**”其实，这句话的第一部分我觉得也很多余，没有必要有。因为后面我们就看到了我们从两方面的介绍。<br /> <br />用我老板的话说，要一个字一个字的扣，我觉得我还

看到dahua lin的博客上提到一interesting文章，下载下来看了看。这大概就是文章八股吧。一篇文章的好，可以用以下观念来衡量：正样本的“视觉”特点：1. 里面有几段公式，看上去文章显得似乎很专业，也显得作者似乎数学不错；2. 实验部分里面多少要有几个曲线图，即使那几个曲线图说明不了什么。但是，只要有几个曲线图在那里，起码表示我做的是“科学实验”；3. 最好在文章开头或者最后一页排列一堆图像。其实，我也注意到很多作者喜欢排列很多dataset里面的图像到paper上——即使那是一个 publica

<br />开始写谱聚类算法部分工作的综述。<br /> <br />整理这部分工作，赶快把这部分的工作写完。再者，把与K-MEANS的一些关系比较一下，参考一下PCA等相关算法，尤其是特征值分解等的数学性质。

推荐系统的牛人，其中其09年的iui的文章是best，Tagsplanations Explaining Recommendations using TagsJohn Riedl    url  http://www-users.cs.umn.edu/~riedl/计算广告学的yahoo牛人，Andrei_Broderhttp://research.yahoo.com/Andr

工作之后第一个正式的design，被老大否了。其实自我的负面否定情绪并不多，从新做design，从中学到了很多，也大概对各个部分的东西都了解的差不多了。现在几个有待确定的问题就是等老大敲定了。先总结一下吧。1. 工作中无论是谁拍板的事情，你来准备的东西，就要准备的全面想的周全，这是对自己的一种交代，也是对领导的一种交代。2. 不要总是认为自己是新人就觉得别人应该给自己把

新来工作，感觉更多的是偏向于工程上的应用，活虽然都是碎活，但是每天要想把这些活做好，也是很费精神的。好久没时间看数看文章看算法了。因此，要列一个短期和长期的目标，也算是给自己的将来发展定个方向。平时工作上要尽可能好、快地完成。要多思考，多想想如何能利用有效的算法模型去改善现有

今天突然觉得自由又回到零点了……悲剧地发现我已经快麻烦了……

工作定了，论文也交了。回家彻底休息了几天，人忙惯了，真不敢长时间啥都不干，担心自己以前的知识忘记了，担心自己落后了。我现在重新体会“活到老，学到老”这句话。并不表示好学，有时候是一种生存危机，是一种不甘落后的紧迫感，让你根本停不下来。你要不停的充实自己，然后才有立脚的依靠吧。废话少说了，总结一下从流体力学硕士毕业后，在这几年关于模式识别和机器学习的学习过程中的一些心得。无论是计算机视觉、模式识别或者机器学习等都是想借助于计算机实现自动控制和识别等功能。可无论是什么任务和功能，基本上都是分类，这个分类包含cl

<br />这几年的博士生涯，其实学到的不少东西。虽然并没有做出什么东西来，但是自身专业知识提高了不少，相比较刚入学来说。<br /> <br />自从定了课题后，虽然课题方向也不是我自己定的。因为入学时基础特别差，从力学转过来，专业方向欠缺太多知识。根本无法一时半会找到合适的方向。<br /> <br />定了课题后，看了一年的论文，收获不多其实。大海里捞针一样，看论文时刚看到有人用K均值，又看到有人用谱方法好，所以具体哪种方式比较适合，我也不知道，我不知道该从哪里下手。后来，找了一篇文章，其实现在回头看

<br />原文：林奇:叛逆的搜索狂人 <br /> <br />“在剑桥大学旁边一家幽静的咖啡馆里，一位有些秃顶的年轻人正在滔滔不绝地讲他自己发明的算法。他对面的听众，正目光游离地看着窗外。” <br /><br />    在这幅画面上，那位秃顶的年轻人就是后来被称为英国的比尔·盖茨的麦克·林奇（MikeLynch），坐在他对面的朋友是英国的一位知名音乐人，虽然朋友几乎都没有听懂林奇的算法到底是什么，但他还是决定向林奇投资3000英镑，作为林奇和他的同伴开公司的第一笔资金。正是用这3000英镑林奇成立了

<br />论文正文写完了，还剩下摘要了。真的是不想再做实验再添加东西了，可内心总是觉得有点心虚，怕东西太少，领导不满意。这博士读的，我觉得我收获很多，可我觉得我还可以收获更多的，只是我有点懒惰了。<br /> <br />回忆最近的状态，我觉得如果我是个农夫的话，我是个懒惰的农夫，我的田野里肯定长满了野草，可这是我不想要的结果。我要做个勤劳的农夫，把自己的田地耕耘的庄稼茂盛，没有野草。

<br />Jensen不等式，凸函数的期望大于等于期望的函数<br /> <br />Ef(X) /geq f(EX)<br /> <br />利用这个不等式，可以推导出相对熵总是非负的。而在等于0时，相对熵的两个函数相等。<br /> <br />这个公式推导，可以参考 elements of information theory chap 2 p27