shincling

这篇博客主要是我之后要做的一个关于LSTM的小报告的梗概，梳理了一下LSTM的特点和适用性问题。

从LSTM模型原文开始，对LSTM模型提出的动机，所采取的机制、设计的模型、算法进行了梳理。对现今采用的主流的LSTM进行了介绍，对LSTM的性能进行了阐述和总结。

说明Memory Networks是Weston在去年提出的一个神经网络模型，引入了记忆效应和外置储存，可以进行有效的长距离序列问题的处理，之后也出现了如神经图灵机，神经机器翻译机等在学术界引起了非常广泛的兴趣的一些模型。最近我们也在主要研究这个东西，这篇博客写在这里算作一个阶段记录。

近期深度强化学习的一些资源汇总

深度学习框架也用过几个了，一直比较喜欢的是Lasagne，因为其设计哲学是不回避底层（theano)，而且封装得比较灵活，不像Keras那样完全一套自己的逻辑，底层借口暴露的太少，导致想做自己的模型的时候用keras非常费力。从某种意义上说，个人觉得Lasagne其实不太能称得上是一个神经网络的框架，而是theano的一个非常好的toolbox，其整个设计都是把theano变得更好使用。由于学习时间

如果你是一个在神经网络中做过诸多尝试，尤其是自己设计很多结构而不是照搬的话，那么在实际应用构建网络的时候，我相信经常有这样一个需求：需要让某些参数不更新。这样的场景可能出现在训练好的词向量、预训练好的带参数的网络模块、信度分配容易出现问题的底层中等。如何在Lasagne中实现参数的差异化呢？这里有两个方法：1. 通过在网络参数初始化时候给参数通过拟定不同的标签来过滤。 2. 直接修改网络参数列表

上半年忙着博士入学，写毕业论文，准备答辩，一系列事情，总算是差不多做好有时间回来搞学术。欠了很久的跟师弟一起调DDPG强化学习策略的代码，是基于Keras+TensorFlow的。由于之前没用过 TF，加上自己一直技痒，所以决定趟一趟 TF 的坑。 于是事情就来了。背景要在自己的台式机上安装tensorflow的环境，台式机的配置如下：win10+ubuntu 14.04GTX 960cuda 7

很久没发博客了，但是今天在Pytorch的参数读取过程中遇到了一个比较罕见的bug。 RuntimeError: cuda runtime error (10) : invalid device ordinal at torch/csrc/cuda/Module.cpp:87找了很久没有解决方案，StackOverflow和pytorch的issues上也没有人遇到相似的问题。最后只能亲亲自上