xiaokang06的专栏

转自：https://zhuanlan.zhihu.com/p/25928551近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目，恰好硕士毕业时论文题目便是文本分类问题，趁此机会总结下文本分类领域特别是应用深度学习解决文本分类的相关的思路、做法和部分实践的经验。业务问题描述：淘宝商品的一个典型的例子见下图，图中商品的标题是“夏装雪纺条纹短袖t恤女春半袖衣服夏天中长款大码胖mm显瘦上衣夏...

转自：http://www.cnblogs.com/rocketfan/p/4917588.html说明：自己在看代码的时候，计算Perplexity的时候，都是通过交叉熵损失函数求指数得来的，一直很困惑，交叉熵不是用来衡量两个分布的差异程度，而Perplexity是计算一句话的概率，感觉两者相差很大，直到看到博主写的这篇博客，才恍然大悟，非常感谢博主。总结：本质上perplexity 就是交叉熵...

参看网址：https://blog.youkuaiyun.com/liuchonge/article/details/77140719

转自：https://blog.youkuaiyun.com/u010223750/article/details/71079036引言TensorFlow很容易上手，但是TensorFlow的很多trick却是提升TensorFlow心法的法门，之前说过TensorFlow的read心法，现在想说一说TensorFlow在RNN上的心法，简直好用到哭 【以下实验均是基于TensorFlow1.0】简要介绍t...

转自：https://zhuanlan.zhihu.com/p/28919765写这篇文章的起因是，有人问调用 outputs, last_state = tf.nn.static_rnn(cell, inputs) 之后，last_state 和 outputs[-1] 相等吗？如果不想等，为什么会不等呢？其实这也是学习 RNN 的一大难点。我个人认为，学习 RNN 最难的地方就是弄明白它的输入...

本文通过简单的实验说明lstm中 state与output之间的关系假设参数如下：batch_size = 4 # 训练语料中一共有4句话sequeue_len = 5 # 每句话只有5个词语ebedding = 6 # 每个词语的词向量维度为 6hidden_size = 10 # 神经元个数为10(1)output说明    首先，比方说我们训练语料一共有4句话，每句话有5个词语，每个词语eb...