mmc2015的专栏

放到一篇文章中，末尾的内容老是被截断。should we use regression for our problem？？http://cs231n.github.io/neural-networks-2/#lossesWord of caution: It is important to note that the L2 loss is much harder t

总结的不错，谢谢作者：http://blog.youkuaiyun.com/u011414416/article/details/51057789端到端的神经网络机器翻译（End-to-End Neural Machine Translation）是近几年兴起的一种全新的机器翻译方法。前篇NMT介绍的基本RNN Encoder-Decoder结构，RNNenc将源语言句子压缩成一个固定

最近闲的蛋疼，看了一下object detection的经典文章，简单总结一下（因为不做cv，说错了请指出）：0）object detection的任务：找到图片中的object（给出边框位置，regresion），以及给出object对应的是什么（classification）。一般步骤就是：候选框提取（regions proposal，经典方法是selective search），然后

大牛的博客，只能膜拜：http://colah.github.io/posts/2015-08-Backprop/反向传播不仅仅是链式法则那么简单。。。从naive的“sum derivations of all paths” ==》到“factoring paths”==》再到“forward-mode differentiation”（对每个计算节点进行

原作者总结的很好。从NN到RNN再到LSTM(2): 循环神经网络RNN简介及计算本文将简要介绍循环神经网络（Recurrent Neural Network，RNN），以及RNN的前向计算和误差反向传播过程。转载请注明出处：http://blog.youkuaiyun.com/u011414416/article/details/46709965以下内容主要引自

文章写得挺好，故转载来。http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652001197&idx=1&sn=4239318655806de8ed807d44cdb1b99c&chksm=f121275cc656ae4a3ad2dedc3b7a53b57fe92f76b97fc1c237bcf9e6a4cdb8adba67ff470d

写的挺好，选择的话题都是很经典的。原文：http://ruder.io/deep-learning-nlp-best-practices/index.html#introduction译文：http://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650729318&idx=1&sn=0bd03d7add9d9b6a5fbd1060

写的确实不错：resnet：加深、通过identity mapping实现inception：加宽、让网络自动选择5*5卷积、3*3卷积还是max-pooling那个更好，通过1*1卷积实现运算量的减少Xception：将通道间的关系和空间上的关系分开进行识别https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650

两篇文章确实不错。https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650729976&idx=1&sn=1f2e64ae2baefd82fd6dcac86d2cc77e&chksm=871b2986b06ca0907fdc335b8f79f0c15cc4393ec45f89ad93d3c9a899c05224dc16e244

写的不错，直接拿来了。http://bamos.github.io/2016/08/09/deep-completion/#so-how-can-we-complete-imagesIntroductionStep 1: Interpreting images as samples from a probability distributionHow

总结的非常好，故转来，如果侵权，请告知，会及时删掉。大家还是去看原文好，作者的文章都不错：https://zhuanlan.zhihu.com/p/28749411https://www.zhihu.com/people/professor-ho/posts写文章变形卷积核、可分

SELU、ReLU、leaky ReLU对比：https://github.com/shaohua0116/Activation-Visualization-Histogram关于SELU激活函数的详细介绍，从这个地址转来的：http://blog.youkuaiyun.com/liyuan123zhouhui/article/details/73702271

写的挺好，转一下。2017年AI技术盘点：关键进展与趋势原创 2018-01-04 张俊林 人工智能头条作者 | 张俊林责编 | 何永灿人工智能最近三年发展如火如荼，学术界、工业界、投资界各方一起发力，硬件、算法与数据共同发展，不仅仅是大型互联网公司，包括大量创业公司以及传统行业的公司都开始涉足人工智能。2017年人工智能行业

发现一门将tensorflow的不错的课程。https://web.stanford.edu/class/cs20si/2017/lectures/slides_07.pdf之前做过一个相机的APP，当时做图片美化，些非常多的代码效果不一定好。下面这个图提醒我们，其实直接使用CNN特定的kernel在愿图片上进行一次卷积就可以完成图片的转换了，而且计算量应该比较少吧。

gradients = optimizer.compute_gradients(loss, var_list)capped_gradients = [(tf.clip_by_value(grad, -5., 5.), var) for grad, var in gradients if grad is not None]train_op = optimizer.apply_gradients(...

 模型：word2vec（skip-gram、CBOW）、GloVe、DNN/BP/Tips for training、RNN/GRU/LSTM、Attention、CNN、TreeRNN应用：Neural Machine Translation、Dependency Parsing、Coreference Resolution作业：skip-gram、window-based s...

http://blog.systransoft.com/how-does-neural-machine-translation-work/In this issue of step-by-step articles, we explain how neural machine translation (NMT) works and compare it wi

/* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/                                                     author: 张俊林       原文出处：http://blog.youkuaiyun.com/malefactor/article/details/50550211前面得部分就不贴了。。。

从今天开始，正式踏入深度学习的行列。之前接触过一些，但都不系统。这次从cs231课程开始。http://cs231n.github.io/optimization-1/Mini-batch gradient descent. In large-scale applications (such as the ILSVRC challenge), the tra

原文：https://pgaleone.eu/deep-learning/regularization/2017/01/10/anaysis-of-dropout/这篇分析dropout的比较好，记录一下。译文在http://www.wtoutiao.com/p/649MGEJ.htmlOverfitting is a problem in Deep Neural Networ

主要参考：http://www.cnblogs.com/Determined22/p/5804455.htmlhttp://www.cnblogs.com/Determined22/p/5807362.htmlhttp://blog.youkuaiyun.com/u014595019/article/details/51943428http://www.open-open.com/

觉得总结的不错，所以记录一下。原文：http://distill.pub/2016/augmented-rnns/译文：http://geek.youkuaiyun.com/news/detail/106118递归神经网络是一种主流的深度学习模型，它可以用神经网络模型来处理序列化的数据，比如文本、音频和视频数据。它能把一个序列浓缩为抽象的理解，以此来表示这个序列，乃至新产生

原文：http://colah.github.io/posts/2015-08-Understanding-LSTMs/Recurrent Neural NetworksHumans don’t start their thinking from scratch every second. As you read this essay, you unders

原文：http://www.jianshu.com/p/9dc9f41f0b29本文译自 Christopher Olah 的博文Recurrent Neural Networks人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，

先说结论：不论是machine translation还是music datasets、speech signal modeling，GRU和LSTM的performance差别不大，但GRU往往比LSTM训练时间短、收敛快。原文：http://blog.youkuaiyun.com/meanme/article/details/488457931.概要：

https://www.oreilly.com.cn/ideas/?p=533从零开始构建和训练你的第一个TensorFlow图Aaron Schumacher, 2016年6月20日TensorFlow作为一个项目比你能想象到的更大。事实上，它是深度学习的一个库。这个项目与谷歌之间的关系帮助它获得了很多的关注。但是在这些喧哗的表面下，这个项目还

http://machinelearningmastery.com/time-series-forecasting-long-short-term-memory-network-python/by Jason Brownlee on April 7, 2017 in Deep Learning0000The L

https://zhuanlan.zhihu.com/p/22038289http://cs231n.github.io/convolutional-networks/卷积层卷积层是构建卷积神经网络的核心层，它产生了网络中大部分的计算量。概述和直观介绍：首先讨论的是，在没有大脑和生物意义上的神经元之类的比喻下，卷积层到底在计算什么。卷积层的参数是有一些可学习

http://mp.weixin.qq.com/s?__biz=MjM5MTQzNzU2NA==&mid=2651649523&idx=2&sn=41df7d27aed6fb3f47732002e2f922f1&chksm=bd4dd2608a3a5b764645f5acdd9c38014b14dc89623e5638c14ee89c4ea9178a1654b96c8d50&mpshare=1&s

感谢作者，写的非常好http://jacoxu.com/encoder_decoder/（博客原文）https://github.com/jacoxu/encoder_decoder（GitHub代码）https://github.com/farizrahman4u/seq2seq（seq2seq代码，非常好！）漫谈四种神经网络序

http://machinelearningmastery.com/gentle-introduction-long-short-term-memory-networks-experts/作者很厉害，感谢总结：This provides you both with a clear and precise idea of what LSTMs are and how they work,

这篇文章确实写的不错，总结无监督学习的方法如下：1）自编码器2）聚类学习3）生成对抗网络4）设计不需要标签的无监督学习任务，直接从无标签的数据中学习模型视觉表征：通过解决拼图问题来进行无监督学习确实是一个聪明的技巧。将图像分割成了拼图，并且训练深度网络来解决拼图问题。视觉表征：通过图像补丁和布局来进行无监督学习也是一个聪明的技巧。让同一幅图像上的两个补丁紧密分布。这些补

http://blog.youkuaiyun.com/hjimce/article/details/50866313Batch Normalization 学习笔记原文地址：http://blog.youkuaiyun.com/hjimce/article/details/50866313作者：hjimce一、背景意义本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Bat

按照下面的解释，“SAME”用的比较多。same的含义是：长度除以步长向上取整。For the SAME padding, the output height and width are computed as:out_height = ceil(float(in_height) / float(strides[1]))out_width = ceil(float(

 想起来前两天小师弟问我问题，为什么dropout是有用的，看起来像是一个有bug的操作。 这里谈下自己的理解，不一定正确：1）dropout的经典解读之一是network的ensemble，每次drop不同的weights，从而形成不同的sub-network，最后ensemble所有的sub-network2）那么为什么sub-network可行呢？这个很少有人提到。我觉得...