DarkScope从这里开始

最近开始学习UFLDL，一个deep learning的教程这个练习的地址：http://deeplearning.stanford.edu/wiki/index.php/Exercise:Sparse_AutoencoderSparse Autoencoder是用神经网络进行feature learning的一个算法，详细的就见教程，我只是贴贴代码从早上十点多一直debug到下午

最近看书发现了一段很有意思的东西,好像是谷歌的工程师发表在谷歌黑板报里的：        有一次，我笨得忘记了该如何在一个复杂的有向图中找出两点之间的最短路径。身边的一位工程师很郑重地告诉我说：“你知道吗？解决这个问题有两种方法，聪明人的方法和笨人的方法。聪明人的方法是：照着算法教科书的讲解，实现那个时间复杂度相当大的名叫嘀嘀哒嘀哒的最短路径算法。笨人的方法时间复杂度最低：找一堆线头来，按照有向

==========================================================================================最近一直在看Deep Learning，各类博客、论文看得不少但是说实话，这样做有些疏于实现，一来呢自己的电脑也不是很好，二来呢我目前也没能力自己去写一个toolbox只是跟着Andrew Ng的

〇.说明         本文的所有代码均可在 DML 找到，欢迎点星星。一.引入          推荐系统（主要是CF）是我在参加百度的电影推荐算法比赛的时候才临时学的，虽然没拿什么奖，但是知识却是到手了，一直想写一篇关于推荐系统的文章总结下，这次借着完善DML写一下，权当是总结了。不过真正的推荐系统当然不会这么简单，往往是很多算法交错在一起，本文只是入门水平的总结罢了。 （本文所

零.说明：       本文的所有代码均可在 DML 找到，欢迎点星星。        注.CNN的这份代码非常慢，基本上没有实际使用的可能，所以我只是发出来，代表我还是实践过而已一.引入：           CNN这个模型实在是有些年份了，最近随着深度学习的兴起又开始焕发青春了，把imagenet测试的准确度提高了非常多，一个是Alex的工作，然后最近好像Zeiler又有突破性

零.        本文所有代码实现均可以在 DML 找到，不介意的话请大家在github里给我点个Star一.引入 K近邻算法作为数据挖掘十大经典算法之一，其算法思想可谓是intuitive，就是从训练集里找离预测点最近的K个样本来预测分类        因为算法思想简单，你可以用很多方法实现它，这时效率就是我们需要慎重考虑的事情，最简单的自然是求出测试样本和训练集所有点的距

一直琢磨着写个爬虫玩，上学期都没实行，于是花了大概一天写了这个东西       其实半天就把程序调试好了，可是在往mysql数据库里保存数据的时候出了问题       python的中文编码实在是非常麻烦，不光如此，因为有些用户的简介里有一些特殊符号，®或者笑脸之类的，于是在这里纠结了很久，好歹最后是成功了(其实也就是过滤掉了那些特殊符号)       效率来说呢，开始的时候一

零.        本文所有代码均能在我 github上的 DML 找到，顺便求点Star一.引入        从一开始接触机器学习，就感觉SVM（支持向量机 Support Vector Machine）就是高端大气上档次的代名词啊，在深度学习出来之前一直都力压ANN一头，是应用得最好的算法了，本文借着实现DML的机会实现一下。二.原理       SVM的文章先不

================================================================================算算有相当一段时间没写blog了，主要是这学期作业比较多，而且我也没怎么学新的东西接下来打算实现一个小的toy lib：DML，同时也回顾一下以前学到的东西当然我只能保证代码的真确性，不能保证其效率啊~~~~~~之后我会陆续

==========================================================================================最近一直在看Deep Learning，各类博客、论文看得不少但是说实话，这样做有些疏于实现，一来呢自己的电脑也不是很好，二来呢我目前也没能力自己去写一个toolbox只是跟着Andrew Ng的

好久没写东西了，一来考试周，二来一直在看deep learning的东西，整理好了一个presentation的ppt，但不是很适合发博客上，学校安排无聊的实习，就把说了很久要看的OpenCV拿出来搞搞人脸识别在OpenCV里面比较简单（我没想到这么简单……）直接调用cvHaarDetectObjects()即可，虽然也不是很好，比如偏头呀，用手遮之后detect的效果就很差强人意了，但我也没

计算机网络的课程设计代码，使用基本的socket编写的，采用多线程处理访问写了 一下午，本来想把php链进来，结果之后就不想碰了~~~环境是 VS2010主要是两个类：HttpServer：用来创建监听response：用来响应请求能够处理GET 和 POST报文只是因为没有后台的脚本语言处理，所以把请求参数显示在了控制台的界面上完整的代码和可运行程序在github~~~~~

softmax纠结了两天，原因是自己不小心改了主程序还是照例只是贴贴代码，如果你有需要的话可以去看UFLDL的教程至于效果和UFLDL都是一样的，我就不重复贴图了啊，ps：代码是matlab的，不是python的PCA and Whitening：pca_gen.m%%=====================================================

知乎上看到一个回答，说是自己学习神经网络的时候都是自己对公式求导，现在常见的DL库都可以自动求导了。这个想必实现过神经网络的同学都有体会，因为神经网络的back-propagation算法本质上就是求导链式法则的堆叠，所以学习这部分的时候就是推来推去，推导对了，那算法你也就掌握了。粗粗一想，只要能把所有操作用有向图构建出来，通过递归去实现自动求导似乎很简单，一时兴起写了一些代码，整理成博客记录一下。