keras 使用 self-attention

最新推荐文章于 2025-05-24 14:00:00 发布

Autuming

最新推荐文章于 2025-05-24 14:00:00 发布

阅读量7.7k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： python 文章标签： self-attention keras

本文链接：https://blog.youkuaiyun.com/renyuanfang/article/details/90633115

python 专栏收录该内容

24 篇文章

订阅专栏

本文介绍了self-attention原理，重点讲解了在keras中使用self-attention的方法，包含安装步骤和使用示例，还郑重说明内容主要来自https://pypi.org/project/keras-self-attention/ 。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

self-attention 原理

keras 使用self-attention

安装

pip install keras-self-attention

使用demo

import keras
from keras_self_attention import SeqSelfAttention


model = keras.models.Sequential()
model.add(keras.layers.Embedding(input_dim=10000,
                                 output_dim=300,
                                 mask_zero=True))
model.add(keras.layers.Bidirectional(keras.layers.LSTM(units=128,
                                                       return_sequences=True)))
model.add(SeqSelfAttention(attention_activation='sigmoid'))
model.add(keras.layers.Dense(units=5))
model.compile(
    optimizer='adam',
    loss='categorical_crossentropy',
    metrics=['categorical_accuracy'],
)
model.summary()