blue_orange_的博客

原创 RNN&Attention

序列向量&search_source=Entity&hybrid_search_source=Entity&hybrid_search_extra={"sourceType"%3A"article"%2C"sourceId"%3A"91839581"})进行attention，计算出特征向量，再拼接到原始向量中，作为卷积层的输入。2）**Hard** Attention，这种方式是直接精准定位到某个key，其余key就都不管了，相当于这个key的概率是1，其余key的概率全部是0。3）cos相似度：!