光英的记忆博客

注意力的实现方式有很多种我们这篇文章使用的Luong的注意力机制计算注意力 context>>>> [batch_size,seq,2*dechidien_size] context_in: torch.Size([64, 8, 100]) [batch_size,seq,deco_size] 第一步 outpu...

import torchfrom torchtext import dataSEED = 1234torch.manual_seed(SEED)if torch.cuda.is_available(): torch.cuda.manual_seed(SEED) """ｃnn　并行计算比较快　　最终的结果就是用一个向量去表示句子　然后进行分了　　但和 cudn...

"""RNN模型下面我们尝试把模型换成一个recurrent neural network (RNN)。RNN经常会被用来encode一个sequenceℎ????=RNN(????????,ℎ????−1) 我们使用最后一个hidden state ℎ???? 来表示整个句子。然后我们把 ℎ???? 通过一个线性变换 ???? ，然后用来预测句子的情感。也可以　把　每个hidden　statae 进行平均　作为句子的...

利用WORDAVG模型做文本分类 模型简单 效果号简单思想就是 将每个词向量在 句子维度进行求平均 可以用avgpool来做平均池化然后用平均后的向量作为句子向量 进行文本分类后面我们还会介绍将rnn表示的句子向量进行文本分类也可以用cnn进行文本分类我们这篇文章代码和注释 主要是介绍 WORDEMage进行文本分类"""准备数据TorchText...

利用lstm 和gru 训练一个语言模型这个语言模型 就是输入一个词预测下一个词是什么 ********************************************************************************************************** emb: torch.Size([32, 32, ...

写本篇文章之前，我觉得一定要搞懂几件事第一 这个模型他干了什么事第二这个模型的目标函数是什么想完这个 在回去读那些讲词向量理论的文章才会觉得豁然开朗"""学习词向量的概念用Skip-thought模型训练词向量学习使用PyTorch dataset和dataloader学习定义PyTorch模型学习torch.nn中常见的ModuleEmbedding学习常见的P...

from __future__ import unicode_literals,print_function,divisionfrom io import openimport unicodedataimport stringimport re import randomimport torchimport torch.nn as nn from torch import o...

from __future__ import unicode_literals, print_function,divisionfrom io import openimport glob import os# 返回匹配规则的所有路径 def findFiles(path): return glob.glob(path)print(findFiles('data/data...

# importsimport matplotlib.pyplot as pltimport numpy as npimport torchimport torchvisionimport torchvision.transforms as transformsimport torch.nn as nnimport torch.nn.functional as Fimport...

from __future__ import absolute_importfrom __future__ import divisionfrom __future__ import print_functionfrom __future__ import unicode_literalsimport torchfrom torch.jit import script, trace...

最近在读Pytorch的官方文档的时候发现Pytorch官方的例子都非常的好，本系列博客简单记录一些自己跑一些这些例子的经过和效果！pytrorch官方教程做一个聊天机器人（代码注释） 使用 TensorBoard 可视化模型，数据和训练 NLP From Scratch：使用char-RNN对姓氏进行分类 NLP From Scratch: 基于注意力机制的 seq2seq 神经...