manmanxiaowugun的博客

一、背景 深度模型成绩斐然，然而它就像一个黑箱子一样捉摸不透，使用者不知道它到底学到了些什么，也不知道它有什么凭据作出那样的预测，更不知道如何根据bad case去调特征，虽然能总结出几类bad case，bad case也有一些特定的pattern，但对样本作出相应的调整总是有点隔靴搔痒，难解其中真谛。 伟大的研究者们开始进行可解释性研究，针对LSTM，目前有词向量的聚类可视化，hidden...

一、背景 解释RNN为什么那么困难： 1. hidden state多，更新hidden state所用的参数更多。 2.使用RNN处理的文本等序列数据，本身语义信息繁多，难以解释。 3.输入一个单词会导致很多hidden state产生变化，而一个hidden state又受很多单词影响，多对多的关系难以分析。 ok，RNNVis[1]自称是解决第3...