
神经网络
j-o-l-i-n
半路出家机房扫地僧,沉迷火炉炼丹和修仙。精通徒手写bug,曾出版《如何一秒爆显存》。
展开
-
An amazing guide to Neural Networks
http://karpathy.github.io/neuralnets/Hacker's guide to Neural NetworksHi there, I'm a CS PhD student at Stanford. I've worked on Deep Learning for a few years as part of my research and amon转载 2015-03-23 14:25:42 · 888 阅读 · 0 评论 -
神经网络中快速傅立叶变换(FFT)的梯度传递
最近需要在神经网络中构造复数酉矩阵做权重系数,使用了快速傅立叶变换和反变换.但是FFT不是theano的现成操作模块(有人写过对应的代码,所以应该会很快加进去了),所以想自己去写梯度传递来彻底搞清楚这件事.重新学一遍离散Fourier transform再加找梯度相关的文献学习,整整花了一周时间.从本科一毕业DFT就忘光了...在此总结了下,不得不说推倒的结果出来以后,真是出乎意料的漂原创 2017-09-05 21:24:42 · 6422 阅读 · 3 评论 -
解决linux的screen中gpu无法在theano中正常启用的问题
http://stackoverflow.com/questions/36781461/how-to-use-theano-within-screen-sessionI use theano on a remote server that I first ssh into (I don't have root on that system). This works fine, howeve转载 2016-09-20 01:05:47 · 1411 阅读 · 0 评论 -
How would a model change if we minimized absolute error instead of squared error? What about the oth
https://www.quora.com/How-would-a-model-change-if-we-minimized-absolute-error-instead-of-squared-error-What-about-the-other-way-aroundMinimizing the squared error (L2L2) over a set of numbers转载 2016-08-16 15:54:01 · 568 阅读 · 0 评论 -
theano中的index好怪异。。比如最大似然估计的损失计算部分。
# NLL is a symbolic variable ; to get the actual value of NLL, this symbolic # expression has to be compiled into a Theano function (see the Theano # tutorial for more details) NLL = -T.sum(T转载 2016-07-13 14:26:46 · 450 阅读 · 0 评论 -
nnlm代码解读链接
http://blog.youkuaiyun.com/a635661820/article/details/44730507转载 2015-09-24 13:20:39 · 1223 阅读 · 0 评论 -
nnlm 中的 Softmax
原本是用来柔化输出值,减小值之间的差。p[i]=exp(y[i]);S是所有p[i]的和;但是当我们需要 L=p[i]/S,而全体p[i]都是0,就会报错,所以实际中我们采用的是:p[i]=exp(y[i]-max_y_i);用来归一化p[i]到0~1之间. 论文在此:http://www.jmlr.org/papers/volume3/bengio03a/bengi原创 2015-09-03 19:34:01 · 454 阅读 · 0 评论 -
《How to Generate a Good Word Embedding?》导读(转)
http://licstar.net/archives/620《How to Generate a Good Word Embedding?》导读Posted on 2015 年 7 月 21 日by licstar 自认为这是一篇有用的文章,因此在发表之前先放到 arXiv 上,供大家参考,请批评指正。 论文地址:http://arxiv.org/abs/15转载 2015-09-01 19:53:38 · 584 阅读 · 0 评论 -
迄今为止我所见过的将BP算法最好的PPT
http://www.cedar.buffalo.edu/~srihari/CSE574/Chap5/Chap5.3-BackProp.pdf原创 2015-09-03 00:56:40 · 2370 阅读 · 0 评论 -
超棒的一遍综述性博客
原文: http://licstar.net/archives/328Deep Learning in NLP (一)词向量和语言模型Posted on 2013 年 7 月 29 日by licstar 这篇博客是我看了半年的论文后,自己对 Deep Learning 在 NLP 领域中应用的理解和总结,在此分享。其中必然有局限性,欢迎各种交流,随便拍。 De转载 2015-09-01 19:38:57 · 3022 阅读 · 0 评论 -
Deep learning 学习开篇
http://www.cnblogs.com/JackOne/archive/2013/02/19/DeepLearning-FirstBoold.htmlreading list: http://deeplearning.net/reading-list/原创 2015-08-26 13:07:44 · 431 阅读 · 0 评论 -
Why I can't reproduce my results
1. Pytorch's CPU's and GPU's seeds are independent. So set/save/load them independentlyhttps://discuss.pytorch.org/t/are-gpu-and-cpu-random-seeds-independent/1422. If you use randomness on several...原创 2019-02-16 13:51:49 · 227 阅读 · 0 评论