Memory Network----------李宏毅视频笔记

1.Attention model

2.memory network model
(1)做attention的vector和提取information的vector是不一样的两组(用不同的DNN一起训练得到)
(2)可以做hopping这件事：就是把得到的Extracted Information回过来再与Query做summation后继续再算新的attention scores(原始的做的工作是比summation更复杂的一些转换，注意以前的单纯attention model是直接把Extracted Information丢到DNN里得到output)


注意：每次hopping的参数不一样，每次都要用不同的DNN去产生不同的参数