双模态情感分析

最新推荐文章于 2025-12-17 18:47:30 发布

原创

最新推荐文章于 2025-12-17 18:47:30 发布 · 490 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #人工智能 #keras

本文介绍了一种结合语音和文本的情感分析模型。该模型利用双向LSTM处理文本和语音输入，并采用注意力机制融合两种模态的信息，最终通过多层感知机输出情感类别。

1.任务介绍
2.建立模型

1.任务介绍

在做情感分析任务是，一般是通过纯文本进行判断的，或者通过语音来判断，现结合语音、文本双模态来进行情感分析。

2.建立模型

from keras.layers import *
from mult_emtion.my_atten import Attention
import keras
from keras.optimizers import Adam

audio_length = 1600  # 输入语音长度，不够16s的0补齐
audio_features_length = 200  # 输入语音特征长度

# 文本输入
input_text = Input(shape=(100, ), name='text_input')  # (, 100)
embed = Embedding(10000, 128