wysroy的专栏

最大化互信息： I(X;Z)=H(X)−H(X|Y)I(X;Z)=H(X)-H(X|Y) argmaxθI(X;Y)=argmaxθ(−H(X|Y))=argmaxθEq(X,Y)log(q(X|Y))argmax_\theta I(X;Y)=argmax_\theta (-H(X|Y))=argmax_\theta E_{q(X,Y)}log(q(X|Y))最小化KL散度 KL(q||p)=

Bayes

线性回归

深度学习很火，应用很多，感觉鱼龙混杂，摸不着头脑。今天就来缕一缕深度学习该怎么研究？从哪些方面研究？注：本文主要探讨深度学习的研究点，而不在于深度学习怎么工作的个人觉得当前深度学习领域的学术研究可以包含四部分：优化（Optimization），泛化（Generalization），表达（Representation）以及应用（Applications）。除了应用（Applications）之外每个部

概率理论

Deep Learning在自然语言理解中的应用，研读Senna的源代码是个很好的起点。C代码只有3500行，实现了POS/NER/SRL/Syntactical Parsing诸多功能。代码 paper