Tensorflow实现基于RNN的文本分类任务的注意力机制

TensorFlow实现自注意力机制(Self-attention),程序员如何解决中年危机 深度学习中的大多数计算都是为了提高速度性能而矢量化的,而对于自注意力也没有什么不同。如果为简单起见忽略 batch 维度,则 1×1 卷积后的激活将具有 (H, W, C) 的形状。第一步是将其重塑为形状为 (H×W, C) 的2D矩阵,并使用 θ θ θ 与 φ φ φ 的矩阵相乘来计算注意力图。在SAGAN中使用的自注意力模块中,还有另一个1×1卷积,用于将通道数恢复到与输入通道数相同的数量,然后使用可学习的参数进行缩放操作。 Tensorflow实现自注意力模块 首先在自定义层的build()中定义 阅读详情

要点:
该教程为深度学习tensorflow实现文本分类任务的注意力机制,实现可视化注意力文本。
环境配置:
Wn10+CPU i7-6700
Pycharm2018
Tensorflow 1.8.0
Tensorboard 1.8.0
笔者信息:Next_Legend QQ:1219154092 人工智能 自然语言处理 图像处理 神经网络
——2018.8.8于天津大学


一、下载代码

该代码见笔者的资源下载部分https://download.youkuaiyun.com/download/jinyuan7708/10592063
代码不需要改动,只需要配置好环境和安装好相应的库,就可以训练和测试了。

二、相应的库文件

tensorflow 1.8.0
tensorboard 1.8.0
numpy
keras
tqdm

三、工程目录文件

工程目录文件
该项目主要包括attention.py train.py utils.py visualize.py四个文件夹
其中train.py文件是训练模型的文件,运行后会生成model.data-00000-of-00001、model.index、model.meta以及checkpoint文件,也就是训练生成的模型文件。

四、核心代码




train.py文件代码

from __future__ import print_function, division
import numpy as np
import tensorflow as tf
from keras.datasets import imdb
from tensorflow.contrib.rnn import GRUCell
from tensorflow.python.ops.rnn 
import bidirectional_dynamic_rnn as bi_rnn
from tqdm import tqdm
from attention import attention
from utils import get_vocabulary_size, fit_in_vocabulary, zero_pad, batch_generator

NUM_WORDS = 10000
INDEX_FROM = 3
SEQUENCE_LENGTH = 250
EMBEDDING_DIM = 100
HIDDEN_SIZE = 150
ATTENTION_SIZE = 50
KEEP_PROB = 0.8
BATCH_SIZE = 256
NUM_EPOCHS = 3  # Model easily overfits without pre-trained words embeddings, that's why train for a few epochs
DELTA = 0.5
MODEL_PATH = './model'

# Load the data set
(X_train, y_train), (X_test, y_test) = imdb.load_data(num_words=NUM_WORDS, index_from=INDEX_FROM)

# Sequences pre-processing
vocabulary_size = get_vocabulary_size(X_train)
X_test = fit_in_vocabulary(X_test, vocabulary_size)
X_train = zero_pad(X_train, SEQUENCE_LENGTH)
X_test = zero_pad(X_test, SEQUENCE_LENGTH)

# Different placeholders
with tf.name_scope('Inputs'):
batch_ph = tf.placeholder(tf.int32, [None, SEQUENCE_LENGTH], name='batch_ph')
target_ph = tf.placeholder(tf.float32, [None], name='target_ph')
seq_len_ph = tf.placeholder(tf.int32, [None], name='seq_len_ph')
keep_prob_ph = tf.placeholder(tf.float32, name='keep_prob_ph')

# Embedding layer
with tf.name_scope('Embedding_layer'):
embeddings_var = tf.Variable(tf.random_uniform([vocabulary_size, EMBEDDING_DIM], -1.0, 1.0), trainable=True)
tf.summary.histogram('embeddings_var', embeddings_var)
batch_embedded = tf.nn.embedding_lookup(embeddings_var, batch_ph)

# (Bi-)RNN layer(-s)
rnn_outputs, _ = bi_rnn(GRUCell(HIDDEN_SIZE), GRUCell(HIDDEN_SIZE),
                    inputs=batch_embedded, sequence_length=seq_len_ph, dtype=tf.float32)
tf.summary.histogram('RNN_outputs', rnn_outputs)

# Attention layer
with tf.name_scope('Attention_layer'):
attention_output, alphas = attention(rnn_outputs, ATTENTION_SIZE, return_alphas=True)
tf.summary.histogram('alphas', alphas)

# Dropout
drop = tf.nn.dropout(attention_output, keep_prob_ph)

# Fully connected layer
with tf.name_scope('Fully_connected_layer'):
W = tf.Variable(tf.truncated_normal([HIDDEN_SIZE * 2, 1], stddev=0.1))  # Hidden size is multiplied by 2 for Bi-RNN
b = tf.Variable(tf.constant(0., shape=[1]))
y_hat = tf.nn.xw_plus_b(drop, W, b)
y_hat = tf.squeeze(y_hat)
tf.summary.histogram('W', W)

with tf.name_scope('Metrics'):
    # Cross-entropy loss and optimizer initialization
    loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits=y_hat, labels=target_ph))
    tf.summary.scalar('loss', loss)
 optimizer = tf.train.AdamOptimizer(learning_rate=1e-3).minimize(loss)

# Accuracy metric
accuracy = tf.reduce_mean(tf.cast(tf.equal(tf.round(tf.sigmoid(y_hat)), target_ph), tf.float32))
tf.summary.scalar('accuracy', accuracy)
merged = tf.summary.merge_all()
train_batch_generator = batch_generator(X_train, y_train, BATCH_SIZE)
test_batch_generator = batch_generator(X_test, y_test, BATCH_SIZE)

train_writer = tf.summary.FileWriter('./logdir/train', accuracy.graph)
test_writer = tf.summary.FileWriter('./logdir/test', accuracy.graph)

session_conf = tf.ConfigProto(gpu_options=tf.GPUOptions(allow_growth=True))

saver = tf.train.Saver()

if __name__ == "__main__":
with tf.Session(config=session_conf) as sess:
    sess.run(tf.global_variables_initializer())
    print("Start learning...")
    for epoch in range(NUM_EPOCHS):
        loss_train = 0
        loss_test = 0
        accuracy_train = 0
        accuracy_test = 0

        print("epoch: {}\t".format(epoch), end="")

        # Training
        num_batches = X_train.shape[0] // BATCH_SIZE
        for b in tqdm(range(num_batches)):
            x_batch, y_batch = next(train_batch_generator)
            seq_len = np.array([list(x).index(0) + 1 for x in x_batch])  # actual lengths of sequences
            loss_tr, acc, _, summary = sess.run([loss, accuracy, optimizer, merged],
                                                feed_dict={batch_ph: x_batch,
                                                           target_ph: y_batch,
                                                           seq_len_ph: seq_len,
                                                           keep_prob_ph: KEEP_PROB})
            accuracy_train += acc
            loss_train = loss_tr * DELTA + loss_train * (1 - DELTA)
            train_writer.add_summary(summary, b + num_batches * epoch)
        accuracy_train /= num_batches

        # Testing
        num_batches = X_test.shape[0] // BATCH_SIZE
        for b in tqdm(range(num_batches)):
            x_batch, y_batch = next(test_batch_generator)
            seq_len = np.array([list(x).index(0) + 1 for x in x_batch])  # actual lengths of sequences
            loss_test_batch, acc, summary = sess.run([loss, accuracy, merged],
                                                     feed_dict={batch_ph: x_batch,
                                                                target_ph: y_batch,
                                                                seq_len_ph: seq_len,
                                                                keep_prob_ph: 1.0})
            accuracy_test += acc
            loss_test += loss_test_batch
            test_writer.add_summary(summary, b + num_batches * epoch)
        accuracy_test /= num_batches
        loss_test /= num_batches

        print("loss: {:.3f}, val_loss: {:.3f}, acc: {:.3f}, val_acc: {:.3f}".format(
            loss_train, loss_test, accuracy_train, accuracy_test
        ))
    train_writer.close()
    test_writer.close()
    saver.save(sess, MODEL_PATH)
    print("Run 'tensorboard --logdir=./logdir' to checkout tensorboard logs.")

五、训练过程


笔者由于使用的 CPU来进行训练,所以速度比较慢,感兴趣的朋友可以考虑使用GPU来计算,可以大大减少训练模型的时间。如果不会搭建gpu环境的小伙伴可以参考我的另一篇Tensorflow gpu环境搭建 ,附上地址哈:
https://blog.youkuaiyun.com/jinyuan7708/article/details/79642924

六、训练结果

训练生成的model文件

七、Tensorboard可视化

accuracy
loss
计算图

八、visualization可视化结果

得到模型后,再继续执行visualize.py文件,生成结果可视化。如下图:

至此,我们的教程就结束啦,代码等文件我上传到我的blog下载资源部分,欢迎大家下载批评指正哈!
代码地址:https://download.youkuaiyun.com/download/jinyuan7708/10592063

Hierarchical Attention Network for Document Classification--tensorflow实现篇 上周我们介绍了Hierarchical Attention Network for Document Classification这篇论文的模型架构,这周抽空用tensorflow实现了一下,接下来主要从代码的角度介绍如何实现用于文本分类的HAN模型。数据集首先介绍一下数据集,这篇论文中使用了几个比较大的数据集,包括IMDB电影评分,yelp餐馆评价等等。选定使用yelp2013之后,一开始找数据集 阅读详情

相关推荐

循环神经网络(RNN)从神经科学灵感到现代序列模型的源头

循环神经网络(Recurrent Neural Network, RNN)是一类用于处理序列数据的神经网络模型。RNN的关键特性在于其递归结构,可以在时间序列中记住之前的数据,从而适用于时间序列预测、自然语言处理(NLP)、语音识别等场景。RNN通过在序列中的每个时间步(Timestep)上共享参数,实现了序列数据的高效处理。RNN之所以适合处理序列数据,是因为它具有 “记忆” 功能,能够将前一步的输出作为输入传递给下一步。

hello.reader 6980

[博学谷学习记录] 超强总结,用心分享|Tensorflow2基础代码实战系列之双层RNN文本分类任务

Tensorflow2基础代码实战系列之双层RNN文本分类任务

Allen_人工智能与大数据 1072

基于RNN的Tensorflow实现文本分类任务的注意力机制

该代码为基于RNN的Tensorflow实现文本分类任务的注意力机制,笔者亲测有效,不需要环境配置等,欢迎大家下载。

tensorflow调用并实现注意力机制

tensorflow调用并实现attention,使用自定义方法继承layers.Layer

weixin_67463124的博客 1万+

【Labview学习】——如何实现软件的中/英文切换

各位亲爱的小伙伴们大家好,这里是小万的labview专题,今天为大家带来的是软件的中/英文切换,在全球化的浪潮之下,各行各业发生着巨大的变化,emmm………… 以下是简单的演示图片,注意观察菜单栏和软件界面各控件的语言状态: 本次分享将分为两部分:菜单中英文切换&界面控件中英文切换 ** 菜单中英文切换 ** 1. 中/英文菜单制造 要想实现菜单的中/英文语言切换,就得做两个菜单,一个...

weixin_44827166的博客 1万+

Unity 代码混淆<混淆插件(Obfuscator Pro 3.9.4)>

Unity 代码混淆<混淆插件(Obfuscator Pro 3.9.4)> 插件导入项目 导入后打开OPS/Obfuscator/Obfuscator Pro Settings 打开后可以看到界面如下 可以在上面界面中选择你需要混淆的类,方法,字段,属性,事件,参数。需要混淆的程序集的选择。如果有些程序集混淆后会有问题也可以添加到白名单里不被混淆 根据自己需求取选择 这个界面是是否添加添加随机代码的 如果使用了上面的插件可以使用 插件下载网址:https://download.cs

Xing_Cheng_Yun的博客 5110

TensorFlow实现自注意力机制(Self-attention)

自注意力机制(Self-attention) 自注意力机制 (Self-attention) 随着自然语言处理 (Natural Language Processing, NLP) 模型(称为“Transformer”)的引入而变得流行。在诸如语言翻译之类的NLP应用程序中,模型通常需要逐字阅读句子以理解它们,然后再产生输出。Transformer问世之前使用的神经网络是递归神经网络 (Recurrent Neural Network, RNN) 或者其变体,例如长短期记忆网络 (Long Short-T

haoji007的博客 4129

ComfyUI新手必看:JoyCaption 2插件安装全流程(附百度网盘资源)

本文为ComfyUI新手提供了JoyCaption 2插件的完整安装与部署指南。详细介绍了从环境准备、插件获取、模型文件配置到核心节点使用的全流程,并重点解析了其集成的LLM反推模式,帮助用户高效实现从图片到精准提示词的转换。

mango的博客 307

学习注意力机制【1】

注意力机制学习

weixin_63016274的博客 2415

如何使用Ray和PyTorch训练模型

用户编写训练函数 → 定义单机训练逻辑。通过扩缩容配置 → 指定需要多少资源(Worker 数量、CPU/GPU)。训练器整合训练函数和配置 → 自动将训练函数分发到多个 Worker 上并行执行。Worker 运行训练函数 → 在分布式环境中完成模型训练。通过这种模式,Ray Train 实现了对分布式训练的抽象,用户只需关注单机训练逻辑,无需手动管理分布式通信和资源分配。

m0_62464865的博客 1922

手把手教你用UM982搭建厘米级RTK定位系统(附避坑指南)

本文详细介绍了如何使用UM982模组搭建厘米级RTK定位系统,涵盖硬件连接、软件配置和深度优化技巧。UM982支持BDS、GPS、GLONASS和Galileo等多系统全频点信号,特别适合精准农业、无人机导航等高精度应用场景。通过实战案例和避坑指南,帮助开发者快速实现厘米级定位精度。

y7z8a的博客 1448

基于RNN的Tensorflow实现文本分类任务的注意力机制:项目推荐

基于RNN的Tensorflow实现文本分类任务的注意力机制:项目推荐 去发现同类优质开源项目:https://gitcode.com/ 在当今信息爆炸的时代,文本分类任务成为自然语言处理领域的一项重要任务,广泛应用于新闻分类、情感分析、垃圾邮件检测等多个场景。今天,我们将为您推荐一个基于RNN的Tensorflow实现文本分类任务的注意力机制项目,帮助您轻松实现高效的文本分类。 项目介绍 本项目...

gitblog_06702的博客 695

Spring Authorization Server自定义密码模式:突破标准OAuth2限制,实现MFA与复杂业务集成

OAuth 2.0授权框架是构建现代应用安全体系的基石,其密码模式(Resource Owner Password Credentials Grant)提供了一种直接的资源所有者凭证交换令牌的机制。该模式的核心原理是客户端收集用户密码并直接向授权服务器请求访问令牌,适用于受信任的客户端场景。在技术价值上,它简化了某些传统应用的OAuth集成流程。然而,标准实现往往难以满足复杂的现实业务需求,例如需要集成多因素认证(MFA)、对接外部LDAP目录服务或执行自定义密码加密校验等场景。Spring Authori

weixin_34302561的博客 438

深入理解tf-rnn-attention:Bi-RNN与注意力机制的完美结合

# 深入理解tf-rnn-attention:Bi-RNN与注意力机制的完美结合 你是否想要提升文本分类任务的性能?想要理解深度学习中最强大的注意力机制如何工作?tf-rnn-attention项目为你提供了TensorFlow实现的Bi-RNN与注意力机制完美结合方案,专门针对文本分类任务优化。这个开源项目实现了基于Zichao Yang等人提出的层次注意力网络架构,将双向循环神经网络与注意力

gitblog_00690的博客 759

030、自动白平衡AWB实战:灰度世界、完美反射与色温估计的工程实现与局限

本文深入探讨了自动白平衡(AWB)算法在工程实践中的实现与局限性。作者结合实际项目经验,分析了灰度世界算法、完美反射算法和色温估计三种主流方法的优缺点和适用场景,并分享了调试过程中的关键技巧和常见陷阱。文章指出,纯色背景、多光源环境等特殊场景容易导致算法失效,需要通过混合策略和场景检测来优化。作者强调AWB调试需要大量实际场景测试,建议保留手动调节功能,并针对不同硬件配置进行参数标定。最后提出,AWB优化是一个持续迭代的过程,需要工程化的测试方法和数据处理能力。

zzfmlxs的博客 284

YOLO26科研升级:BiFPN双向特征金字塔,让多尺度特征融合精度再突破

在目录下,新建AddModules文件夹,将bifpn.py放入其中。

LXY_LOVE36的博客 561

Beads依赖关系管理完全指南:构建无冲突的多代理工作流

在当今复杂的软件开发环境中,管理多个AI代理之间的依赖关系变得至关重要。Beads项目提供了一个革命性的解决方案,让开发者能够轻松构建无冲突的多代理工作流。本文将为您详细介绍如何利用Beads的强大功能来优化您的开发流程。 ## 什么是Beads依赖关系管理? Beads是一个专为AI代理设计的记忆升级工具,它的依赖关系管理功能能够智能地跟踪和处理不同代理之间的任务依赖。通过自动检测潜在的冲突

gitblog_00587的博客 358

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

HAN文本分类与tensorflow实现

1. 引言     前面介绍了LSTM_CNN、RCNN等文本分类方法,这几种方法都是将整个文本进行encoder,但是我们知道,RNN对于长句子或长文档其实编码能力是有限的,会丢失掉句子中的信息,因此,为了克服这个问题,Nikolaos等人在2017年提出了一个新的文本分类模型——HAN,该模型采用层叠的RNN,对文本的句子级别进行encoder,并且引入了神经机器翻译中的注意力机制,可以有效...

linchuhai的博客 4565

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

tf-rnn-attention完全解析:文本分类任务中的终极注意力机制实现

tf-rnn-attention是一个基于TensorFlow的文本分类注意力机制实现,它能够帮助开发者在文本分类任务中实现高效的注意力机制,提升模型性能。本文将为你详细介绍这个强大工具的核心功能、安装方法和实际应用。 ## 什么是注意力机制? 注意力机制是一种让模型能够自动关注输入数据中重要部分的技术。在文本分类任务中,它可以帮助模型识别句子或文档中对分类结果影响最大的关键词和短语,就像人类

gitblog_00828的博客 1120

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Attention文本分类实战

Attention文本分类实战 参考:Tensorflow implementation of attention mechanism for text classification tasks https://github.com/ilivans/tf-rnn-attention utils.py(一些方法) from __future__ import print_function ...

AI研究院 1293

tf-rnn-attention核心代码解析:attention.py中的注意力机制实现原理

在自然语言处理领域,注意力机制已成为提升模型性能的关键技术之一。本文将深入解析GitHub加速计划中的tf-rnn-attention项目,重点探讨[attention.py](https://link.gitcode.com/i/23d943539fc07a112caf049a0fb13bff)文件如何实现文本分类任务中的注意力机制,帮助新手理解这一强大技术的工作原理。 ## 注意力机制的核心

gitblog_00972的博客 701

AI-For-Beginners 课程精讲:从注意力机制到 Transformer 与 BERT 的完整实战指南

注意力机制与 Transformer 是当前自然语言处理(NLP)领域最核心的技术基石,也是本课程 [NLP 章节](https://link.gitcode.com/i/331bf385968d4323f70d72c914e4d515) 中承上启下的关键一课。本文以 [第 18 课《注意力机制与 Transformer》](https://link.gitcode.com/i/f954b3072

gitblog_01098的博客 125

tf-rnn-attention快速入门:3步实现基于TensorFlow的注意力机制文本分类

想要快速掌握深度学习中的注意力机制吗?tf-rnn-attention项目为您提供了一个简单高效的解决方案!这个基于TensorFlow的注意力机制实现专为文本分类任务设计,让您能够在短短3步内构建强大的注意力模型。无论您是深度学习新手还是有经验的开发者,都能轻松上手这个强大的文本分类工具。 ## 🎯 什么是注意力机制? 注意力机制是深度学习中的一种重要技术,它让模型能够像人类一样"关注"输

gitblog_00936的博客 677

详解循环神经网络RNN原理+tensorflow实现

目录引言一、原理《深度学习》中关于循环和递归网络笔记1、简介2、展开计算图3、循环神经网络4、莫烦python1、简介二、tensorflow实现三、总结 引言 因为前段时间在跟B站学习强化学习,其中提到过循环神经网络,于是在《深度学习》中学习了一点关于循环神经网络的知识,今天突然想再写以下代码,于是正好趁机整理下关于循环神经网络的知识。 一、原理 《深度学习》中关于循环和递归网络笔记 1、简介 ...

野生蘑菇菌的博客 2770

循环神经网络(RNN)详解:从原理到实践

循环神经网络(Recurrent Neural Network, RNN)是一类专门用于处理序列数据的神经网络。与传统的前馈神经网络不同,RNN引入了"记忆"的概念,能够利用之前处理过的信息来影响后续的输出。RNN的核心思想是:在处理当前输入时,不仅考虑当前的输入数据,还会考虑之前所有输入数据的"记忆"。这种特性使得RNN非常适合处理时间序列数据、自然语言、语音等具有时序关系的数据。

wyy202206174248的博客 1524
上一篇: GAN的理解与TensorFlow的实现
下一篇: 基于python+opencv的图像目标区域自动提取(本项目为提取纸张中的内容)
小亮 Play NLP
博客等级 码龄11年 229粉丝 34原创
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值