神经网络图灵机DAY3

在之前谈到了memory networks，其通过external memory扩展了神经网络的学习能力，但是其不是end-to-end，导致整个训练过程非常繁琐，甚至需要给训练集打上很复杂的标签，这里我们将谈到End-to-End Memory Networks，其在MN上达到了end-to-end。具体思路如图：

在这里左边是一个单层的MN，右边则是在左边基础上扩展的多层。我们可以看到我们首先要给予模型足够的sentence存储，这里的将通过和矩阵相乘来得到相应的记忆，供给网络使用，且这里一层网络分为两部分，下面的input给上面的output概率分布，再有output和u相加输出。具体见https://blog.youkuaiyun.com/Irving_zhang/article/details/79111102。