Tensorflow实现基于RNN的文本分类任务的注意力机制

TensorFlow实现自注意力机制(Self-attention),程序员如何解决中年危机 深度学习中的大多数计算都是为了提高速度性能而矢量化的,而对于自注意力也没有什么不同。如果为简单起见忽略 batch 维度,则 1×1 卷积后的激活将具有 (H, W, C) 的形状。第一步是将其重塑为形状为 (H×W, C) 的2D矩阵,并使用 θ θ θ 与 φ φ φ 的矩阵相乘来计算注意力图。在SAGAN中使用的自注意力模块中,还有另一个1×1卷积,用于将通道数恢复到与输入通道数相同的数量,然后使用可学习的参数进行缩放操作。 Tensorflow实现自注意力模块 首先在自定义层的build()中定义 阅读详情

要点:
该教程为深度学习tensorflow实现文本分类任务的注意力机制,实现可视化注意力文本。
环境配置:
Wn10+CPU i7-6700
Pycharm2018
Tensorflow 1.8.0
Tensorboard 1.8.0
笔者信息:Next_Legend QQ:1219154092 人工智能 自然语言处理 图像处理 神经网络
——2018.8.8于天津大学


一、下载代码

该代码见笔者的资源下载部分https://download.youkuaiyun.com/download/jinyuan7708/10592063
代码不需要改动,只需要配置好环境和安装好相应的库,就可以训练和测试了。

二、相应的库文件

tensorflow 1.8.0
tensorboard 1.8.0
numpy
keras
tqdm

三、工程目录文件

工程目录文件
该项目主要包括attention.py train.py utils.py visualize.py四个文件夹
其中train.py文件是训练模型的文件,运行后会生成model.data-00000-of-00001、model.index、model.meta以及checkpoint文件,也就是训练生成的模型文件。

四、核心代码




train.py文件代码

from __future__ import print_function, division
import numpy as np
import tensorflow as tf
from keras.datasets import imdb
from tensorflow.contrib.rnn import GRUCell
from tensorflow.python.ops.rnn 
import bidirectional_dynamic_rnn as bi_rnn
from tqdm import tqdm
from attention import attention
from utils import get_vocabulary_size, fit_in_vocabulary, zero_pad, batch_generator

NUM_WORDS = 10000
INDEX_FROM = 3
SEQUENCE_LENGTH = 250
EMBEDDING_DIM = 100
HIDDEN_SIZE = 150
ATTENTION_SIZE = 50
KEEP_PROB = 0.8
BATCH_SIZE = 256
NUM_EPOCHS = 3  # Model easily overfits without pre-trained words embeddings, that's why train for a few epochs
DELTA = 0.5
MODEL_PATH = './model'

# Load the data set
(X_train, y_train), (X_test, y_test) = imdb.load_data(num_words=NUM_WORDS, index_from=INDEX_FROM)

# Sequences pre-processing
vocabulary_size = get_vocabulary_size(X_train)
X_test = fit_in_vocabulary(X_test, vocabulary_size)
X_train = zero_pad(X_train, SEQUENCE_LENGTH)
X_test = zero_pad(X_test, SEQUENCE_LENGTH)

# Different placeholders
with tf.name_scope('Inputs'):
batch_ph = tf.placeholder(tf.int32, [None, SEQUENCE_LENGTH], name='batch_ph')
target_ph = tf.placeholder(tf.float32, [None], name='target_ph')
seq_len_ph = tf.placeholder(tf.int32, [None], name='seq_len_ph')
keep_prob_ph = tf.placeholder(tf.float32, name='keep_prob_ph')

# Embedding layer
with tf.name_scope('Embedding_layer'):
embeddings_var = tf.Variable(tf.random_uniform([vocabulary_size, EMBEDDING_DIM], -1.0, 1.0), trainable=True)
tf.summary.histogram('embeddings_var', embeddings_var)
batch_embedded = tf.nn.embedding_lookup(embeddings_var, batch_ph)

# (Bi-)RNN layer(-s)
rnn_outputs, _ = bi_rnn(GRUCell(HIDDEN_SIZE), GRUCell(HIDDEN_SIZE),
                    inputs=batch_embedded, sequence_length=seq_len_ph, dtype=tf.float32)
tf.summary.histogram('RNN_outputs', rnn_outputs)

# Attention layer
with tf.name_scope('Attention_layer'):
attention_output, alphas = attention(rnn_outputs, ATTENTION_SIZE, return_alphas=True)
tf.summary.histogram('alphas', alphas)

# Dropout
drop = tf.nn.dropout(attention_output, keep_prob_ph)

# Fully connected layer
with tf.name_scope('Fully_connected_layer'):
W = tf.Variable(tf.truncated_normal([HIDDEN_SIZE * 2, 1], stddev=0.1))  # Hidden size is multiplied by 2 for Bi-RNN
b = tf.Variable(tf.constant(0., shape=[1]))
y_hat = tf.nn.xw_plus_b(drop, W, b)
y_hat = tf.squeeze(y_hat)
tf.summary.histogram('W', W)

with tf.name_scope('Metrics'):
    # Cross-entropy loss and optimizer initialization
    loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits=y_hat, labels=target_ph))
    tf.summary.scalar('loss', loss)
 optimizer = tf.train.AdamOptimizer(learning_rate=1e-3).minimize(loss)

# Accuracy metric
accuracy = tf.reduce_mean(tf.cast(tf.equal(tf.round(tf.sigmoid(y_hat)), target_ph), tf.float32))
tf.summary.scalar('accuracy', accuracy)
merged = tf.summary.merge_all()
train_batch_generator = batch_generator(X_train, y_train, BATCH_SIZE)
test_batch_generator = batch_generator(X_test, y_test, BATCH_SIZE)

train_writer = tf.summary.FileWriter('./logdir/train', accuracy.graph)
test_writer = tf.summary.FileWriter('./logdir/test', accuracy.graph)

session_conf = tf.ConfigProto(gpu_options=tf.GPUOptions(allow_growth=True))

saver = tf.train.Saver()

if __name__ == "__main__":
with tf.Session(config=session_conf) as sess:
    sess.run(tf.global_variables_initializer())
    print("Start learning...")
    for epoch in range(NUM_EPOCHS):
        loss_train = 0
        loss_test = 0
        accuracy_train = 0
        accuracy_test = 0

        print("epoch: {}\t".format(epoch), end="")

        # Training
        num_batches = X_train.shape[0] // BATCH_SIZE
        for b in tqdm(range(num_batches)):
            x_batch, y_batch = next(train_batch_generator)
            seq_len = np.array([list(x).index(0) + 1 for x in x_batch])  # actual lengths of sequences
            loss_tr, acc, _, summary = sess.run([loss, accuracy, optimizer, merged],
                                                feed_dict={batch_ph: x_batch,
                                                           target_ph: y_batch,
                                                           seq_len_ph: seq_len,
                                                           keep_prob_ph: KEEP_PROB})
            accuracy_train += acc
            loss_train = loss_tr * DELTA + loss_train * (1 - DELTA)
            train_writer.add_summary(summary, b + num_batches * epoch)
        accuracy_train /= num_batches

        # Testing
        num_batches = X_test.shape[0] // BATCH_SIZE
        for b in tqdm(range(num_batches)):
            x_batch, y_batch = next(test_batch_generator)
            seq_len = np.array([list(x).index(0) + 1 for x in x_batch])  # actual lengths of sequences
            loss_test_batch, acc, summary = sess.run([loss, accuracy, merged],
                                                     feed_dict={batch_ph: x_batch,
                                                                target_ph: y_batch,
                                                                seq_len_ph: seq_len,
                                                                keep_prob_ph: 1.0})
            accuracy_test += acc
            loss_test += loss_test_batch
            test_writer.add_summary(summary, b + num_batches * epoch)
        accuracy_test /= num_batches
        loss_test /= num_batches

        print("loss: {:.3f}, val_loss: {:.3f}, acc: {:.3f}, val_acc: {:.3f}".format(
            loss_train, loss_test, accuracy_train, accuracy_test
        ))
    train_writer.close()
    test_writer.close()
    saver.save(sess, MODEL_PATH)
    print("Run 'tensorboard --logdir=./logdir' to checkout tensorboard logs.")

五、训练过程


笔者由于使用的 CPU来进行训练,所以速度比较慢,感兴趣的朋友可以考虑使用GPU来计算,可以大大减少训练模型的时间。如果不会搭建gpu环境的小伙伴可以参考我的另一篇Tensorflow gpu环境搭建 ,附上地址哈:
https://blog.youkuaiyun.com/jinyuan7708/article/details/79642924

六、训练结果

训练生成的model文件

七、Tensorboard可视化

accuracy
loss
计算图

八、visualization可视化结果

得到模型后,再继续执行visualize.py文件,生成结果可视化。如下图:

至此,我们的教程就结束啦,代码等文件我上传到我的blog下载资源部分,欢迎大家下载批评指正哈!
代码地址:https://download.youkuaiyun.com/download/jinyuan7708/10592063

Hierarchical Attention Network for Document Classification--tensorflow实现篇 上周我们介绍了Hierarchical Attention Network for Document Classification这篇论文的模型架构,这周抽空用tensorflow实现了一下,接下来主要从代码的角度介绍如何实现用于文本分类的HAN模型。数据集首先介绍一下数据集,这篇论文中使用了几个比较大的数据集,包括IMDB电影评分,yelp餐馆评价等等。选定使用yelp2013之后,一开始找数据集 阅读详情

相关推荐

循环神经网络(RNN)从神经科学灵感到现代序列模型的源头

循环神经网络(Recurrent Neural Network, RNN)是一类用于处理序列数据的神经网络模型。RNN的关键特性在于其递归结构,可以在时间序列中记住之前的数据,从而适用于时间序列预测、自然语言处理(NLP)、语音识别等场景。RNN通过在序列中的每个时间步(Timestep)上共享参数,实现了序列数据的高效处理。RNN之所以适合处理序列数据,是因为它具有 “记忆” 功能,能够将前一步的输出作为输入传递给下一步。

hello.reader 6980

[博学谷学习记录] 超强总结,用心分享|Tensorflow2基础代码实战系列之双层RNN文本分类任务

Tensorflow2基础代码实战系列之双层RNN文本分类任务

Allen_人工智能与大数据 1072

基于RNN的Tensorflow实现文本分类任务的注意力机制

该代码为基于RNN的Tensorflow实现文本分类任务的注意力机制,笔者亲测有效,不需要环境配置等,欢迎大家下载。

tensorflow调用并实现注意力机制

tensorflow调用并实现attention,使用自定义方法继承layers.Layer

weixin_67463124的博客 1万+

STM32F030C8烧录实战:用J-Link Commander实现一键批量烧写(附完整脚本)

本文详细介绍了如何使用J-Link Commander工具链实现STM32F030C8的一键批量烧录,包括环境配置、批处理脚本设计、命令脚本解析以及生产环境实战技巧。通过自动化烧录流程,显著提升效率并降低人为错误,特别适合量产和频繁迭代的开发场景。

weixin_30505225的博客 462

无桥图腾柱PFC电路讲解

市电输入正半周分析 无论是正半周输入,还是负半周输入,整个工作过程都分为电感充电,电感放电两种状态来分析。 电感充电回路: 如下图,当市电的正半周到来时,由于L线电位要比N线电位高,所以Vi的极性为右侧为正,左侧为负。此时控制Q2和Q4导通,Q1和Q3截止。

鸟宿江边树的博客 1万+

TensorFlow实现自注意力机制(Self-attention)

自注意力机制(Self-attention) 自注意力机制 (Self-attention) 随着自然语言处理 (Natural Language Processing, NLP) 模型(称为“Transformer”)的引入而变得流行。在诸如语言翻译之类的NLP应用程序中,模型通常需要逐字阅读句子以理解它们,然后再产生输出。Transformer问世之前使用的神经网络是递归神经网络 (Recurrent Neural Network, RNN) 或者其变体,例如长短期记忆网络 (Long Short-T

haoji007的博客 4129

VScode利用EIDE和cortex-debug进行stm32开发(也适用51)

你是否因为keil页面太丑而烦恼,你是否因为keil编译太慢而恼怒,ok阿,今天也是给大家带来怎么在vscode上进行stm32的编程(我不会告诉你,我搞了好几天才搞好的💔💔💔)为什么是简单介绍?因为太啰嗦了,我嫌麻烦😋,大家可以去EIDE的官方文档去看。

weixin_73952614的博客 9395

学习注意力机制【1】

注意力机制学习

weixin_63016274的博客 2415

Kettle Web版部署指南

看到以上的日志则表示启动成功。

2401_89221867的博客 1720

港口集装箱码头运营FlexSim仿真

列队4中的集装箱会根据不同类型的集装箱会放置在不同的堆场,因此根据前面对集装箱设置的标签Type的数值不同,设置不同的发送端口。集装箱到达列队3后,会有70%的集装箱到达堆场,30%的集装箱运出港口,因此在Queue列队3的Flow界面设置按照百分比发送端口,其中70%发送到端口1,即发送到列队4等待进入堆场,30%发送到端口2,即发送至出闸口。通过上述对比表格可以看出,当集卡数量在10的时候,岸桥和场桥的设备利用率达到了最高,当集卡数量为12的时候场桥1和场桥3的利用率有所下降,因此综合考虑。

m0_72514516的博客 1331

基于RNN的Tensorflow实现文本分类任务的注意力机制:项目推荐

基于RNN的Tensorflow实现文本分类任务的注意力机制:项目推荐 去发现同类优质开源项目:https://gitcode.com/ 在当今信息爆炸的时代,文本分类任务成为自然语言处理领域的一项重要任务,广泛应用于新闻分类、情感分析、垃圾邮件检测等多个场景。今天,我们将为您推荐一个基于RNN的Tensorflow实现文本分类任务的注意力机制项目,帮助您轻松实现高效的文本分类。 项目介绍 本项目...

gitblog_06702的博客 695

KMD 核心功能模块——命令提交与调度:Ring Buffer 与硬件引擎交互

《KMD 中的中断与同步机制——从 Fence 到 Timeline Semaphore 的深度解析》GPU 需要持续接收命令,但硬件执行是流式处理。Ring Buffer 作为。导致 CVE-2022-1234(GPU 挂起),修复后强制检查。:命令提交延迟从 50μs 降至 5μs(20 倍提升)。,CPU 通过写入该地址更新指针(避免直接操作寄存器)。,实现 CPU 与 GPU 的高效协同。),GPU 读指针更新是硬件自动完成的。(通过硬件状态机),实现真正的零等待。AMDGPU 驱动曾因。

amy_mhd的博客 83

深入理解tf-rnn-attention:Bi-RNN与注意力机制的完美结合

# 深入理解tf-rnn-attention:Bi-RNN与注意力机制的完美结合 你是否想要提升文本分类任务的性能?想要理解深度学习中最强大的注意力机制如何工作?tf-rnn-attention项目为你提供了TensorFlow实现的Bi-RNN与注意力机制完美结合方案,专门针对文本分类任务优化。这个开源项目实现了基于Zichao Yang等人提出的层次注意力网络架构,将双向循环神经网络与注意力

gitblog_00690的博客 759

电源防反接保护电路全攻略实战A04

本文深入剖析了硬件设计中电源保护电路的关键技术与实战经验。文章指出,保护电路虽小但至关重要,通过对比分析二极管与MOSFET防反接方案,揭示了MOSFET在效率、温控方面的优势。针对过压保护,重点讲解了TVS二极管选型要点,强调钳位电压而非击穿电压才是保护核心。文章结合工业案例(如48V通信模块烧毁、5V系统MOSFET过热等),详细阐述了PCB布局规范、热设计路径等工程细节,并提供了USB接口ESD防护的完整选型方案。最后强调硬件设计必须考虑最坏工况,在成本与性能间找到平衡点,避免因小失大。

启芯硬件的博客 781

cesium 淹没分析

cesium淹没分析

God's asylum的博客 484

Beads依赖关系管理完全指南:构建无冲突的多代理工作流

在当今复杂的软件开发环境中,管理多个AI代理之间的依赖关系变得至关重要。Beads项目提供了一个革命性的解决方案,让开发者能够轻松构建无冲突的多代理工作流。本文将为您详细介绍如何利用Beads的强大功能来优化您的开发流程。 ## 什么是Beads依赖关系管理? Beads是一个专为AI代理设计的记忆升级工具,它的依赖关系管理功能能够智能地跟踪和处理不同代理之间的任务依赖。通过自动检测潜在的冲突

gitblog_00587的博客 358

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

HAN文本分类与tensorflow实现

1. 引言     前面介绍了LSTM_CNN、RCNN等文本分类方法,这几种方法都是将整个文本进行encoder,但是我们知道,RNN对于长句子或长文档其实编码能力是有限的,会丢失掉句子中的信息,因此,为了克服这个问题,Nikolaos等人在2017年提出了一个新的文本分类模型——HAN,该模型采用层叠的RNN,对文本的句子级别进行encoder,并且引入了神经机器翻译中的注意力机制,可以有效...

linchuhai的博客 4565

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

tf-rnn-attention完全解析:文本分类任务中的终极注意力机制实现

tf-rnn-attention是一个基于TensorFlow的文本分类注意力机制实现,它能够帮助开发者在文本分类任务中实现高效的注意力机制,提升模型性能。本文将为你详细介绍这个强大工具的核心功能、安装方法和实际应用。 ## 什么是注意力机制? 注意力机制是一种让模型能够自动关注输入数据中重要部分的技术。在文本分类任务中,它可以帮助模型识别句子或文档中对分类结果影响最大的关键词和短语,就像人类

gitblog_00828的博客 1120

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

Attention文本分类实战

Attention文本分类实战 参考:Tensorflow implementation of attention mechanism for text classification tasks https://github.com/ilivans/tf-rnn-attention utils.py(一些方法) from __future__ import print_function ...

AI研究院 1293

tf-rnn-attention核心代码解析:attention.py中的注意力机制实现原理

在自然语言处理领域,注意力机制已成为提升模型性能的关键技术之一。本文将深入解析GitHub加速计划中的tf-rnn-attention项目,重点探讨[attention.py](https://link.gitcode.com/i/23d943539fc07a112caf049a0fb13bff)文件如何实现文本分类任务中的注意力机制,帮助新手理解这一强大技术的工作原理。 ## 注意力机制的核心

gitblog_00972的博客 701

AI-For-Beginners 课程精讲:从注意力机制到 Transformer 与 BERT 的完整实战指南

注意力机制与 Transformer 是当前自然语言处理(NLP)领域最核心的技术基石,也是本课程 [NLP 章节](https://link.gitcode.com/i/331bf385968d4323f70d72c914e4d515) 中承上启下的关键一课。本文以 [第 18 课《注意力机制与 Transformer》](https://link.gitcode.com/i/f954b3072

gitblog_01098的博客 125

tf-rnn-attention快速入门:3步实现基于TensorFlow的注意力机制文本分类

想要快速掌握深度学习中的注意力机制吗?tf-rnn-attention项目为您提供了一个简单高效的解决方案!这个基于TensorFlow的注意力机制实现专为文本分类任务设计,让您能够在短短3步内构建强大的注意力模型。无论您是深度学习新手还是有经验的开发者,都能轻松上手这个强大的文本分类工具。 ## 🎯 什么是注意力机制? 注意力机制是深度学习中的一种重要技术,它让模型能够像人类一样"关注"输

gitblog_00936的博客 677

详解循环神经网络RNN原理+tensorflow实现

目录引言一、原理《深度学习》中关于循环和递归网络笔记1、简介2、展开计算图3、循环神经网络4、莫烦python1、简介二、tensorflow实现三、总结 引言 因为前段时间在跟B站学习强化学习,其中提到过循环神经网络,于是在《深度学习》中学习了一点关于循环神经网络的知识,今天突然想再写以下代码,于是正好趁机整理下关于循环神经网络的知识。 一、原理 《深度学习》中关于循环和递归网络笔记 1、简介 ...

野生蘑菇菌的博客 2770

循环神经网络(RNN)详解:从原理到实践

循环神经网络(Recurrent Neural Network, RNN)是一类专门用于处理序列数据的神经网络。与传统的前馈神经网络不同,RNN引入了"记忆"的概念,能够利用之前处理过的信息来影响后续的输出。RNN的核心思想是:在处理当前输入时,不仅考虑当前的输入数据,还会考虑之前所有输入数据的"记忆"。这种特性使得RNN非常适合处理时间序列数据、自然语言、语音等具有时序关系的数据。

wyy202206174248的博客 1524
上一篇: GAN的理解与TensorFlow的实现
下一篇: 基于python+opencv的图像目标区域自动提取(本项目为提取纸张中的内容)
小亮 Play NLP
博客等级 码龄11年 229粉丝 34原创
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值