wysroy-优快云博客

转载几种常见模式识别算法整理和总结

这学期选了门模式识别的课。发现最常见的一种情况就是，书上写的老师ppt上写的都看不懂，然后绕了一大圈去自己查资料理解，回头看看发现，Ah-ha，原来本质的原理那么简单，自己一开始只不过被那些看似formidable的细节吓到了。所以在这里把自己所学的一些点记录下来，供备忘，也供参考。 1. K-Nearest Neighbor K-NN可以说是一种最直接的用来分类未

2015-03-20 15:54:02 813

原创 mutual information vs cross-entropy

最大化互信息： I(X;Z)=H(X)−H(X|Y)I(X;Z)=H(X)-H(X|Y) argmaxθI(X;Y)=argmaxθ(−H(X|Y))=argmaxθEq(X,Y)log(q(X|Y))argmax_\theta I(X;Y)=argmax_\theta (-H(X|Y))=argmax_\theta E_{q(X,Y)}log(q(X|Y))最小化KL散度 KL(q||p)=

2015-03-15 21:59:21 724

原创 DL--自然语言处理

Deep Learning在自然语言理解中的应用，研读Senna的源代码是个很好的起点。C代码只有3500行，实现了POS/NER/SRL/Syntactical Parsing诸多功能。代码 paper

2015-03-12 11:02:55 629

深度学习很火，应用很多，感觉鱼龙混杂，摸不着头脑。今天就来缕一缕深度学习该怎么研究？从哪些方面研究？注：本文主要探讨深度学习的研究点，而不在于深度学习怎么工作的个人觉得当前深度学习领域的学术研究可以包含四部分：优化（Optimization），泛化（Generalization），表达（Representation）以及应用（Applications）。除了应用（Applications）之外每个部

2015-03-11 23:29:29 965

转载一个机器学习博士生的忠告

纯属转载，有参考价值，更要共勉！知乎原文题主似乎没有明确自己是博士生，以下假设为博士生。1、首先，请以一个局外人的理智角度，对你的导师进行如下分类： ① 圈内大牛，高水平论文很多，目前自己仍在亲力亲为参与科研工作，请转2 ② 简历里面有一些高水平论文，但是似乎并不能算是大牛，请转3 ③ 其他情况，请转42、这一种情况是比较理想的，个人认为你的关于论文的疑惑，其实可以尽量多和你的导师交流。不

2015-03-11 21:20:11 4601