qq_55655082的博客

每天都加一点点ps：ctrl+F查找Aargparse.ArgumentParser()argparse是一个Python模块：解析命令行参数(参数解析工具)add_subparsers()添加子命令（当程序复杂，不同功能需要不同参数时）sys.argv[]可以看作是一个列表，里边的项为用户输入的参数个数。所以才能用[]提取其中的元素。一个元素是程序本身，随后才依次是外部给予的参数。（我理解的相当于切片）Bbuild—init—函数：这个函数用于对所有独立的输入进行初始化。（独立的输

由于在 Encoder 和 Decoder 中都需要进行 mask（和矩阵原大小一样，有问题的地方加负无穷） 操作，因此就无法确定这个函数的参数中 seq_len 的值，如果是在 Encoder 中调用的，seq_len 就等于 src_len；这里要做的是，通过 Q 和 K 计算出 scores，然后将 scores 和 V 相乘，得到每个单词的 context vector。不同batch之间句子长度可以不一样，但是每个batch的长度必须是一样的：因此出现一个问题，输入计算的，需要知道每个字的。

博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看。B站：去钓鱼的程序猿

1.定义网络模型2.前向传播计算loss3.反向传播计算梯度4.参数更新（随机梯度下降SGD）from-b站：平凡的久月import torchimport torch.nn.functional as Fimport matplotlib.pyplot as pltdevice='cuda:0' if torch.cuda.is_available() else 'cpu'#训练过程的模拟数据# torch.manual_seed(1) # reproduciblex=torch

import collectionsimport mathimport torchfrom torch import nnfrom d2l import torch as d2l#@saveclass Seq2SeqEncoder(d2l.Encoder): """用于序列到序列学习的循环神经网络编码器""" def __init__(self,vocab_size,embed_size,num_hiddens,num_layers, drop

李沐-《动手学深度学习》1.深度循环网络import torchfrom torch import nnfrom d2l import torch as d2lbanch_size,num_steps=32,35train_iter,vocab=d2l.load_data_time_machine(banch_size,num_steps)#num_layers设定隐藏层数vocab_size,num_hiddens,num_layers=len(vocab),256,2num_inp

李沐-《动手学深度学习》1.GRU简洁实现 num_inputs = vocab_size gru_layer = nn.GRU(num_inputs, num_hiddens)#输入大小隐藏层大小 model = d2l.RNNModel(gru_layer, len(vocab))#构建模型 model = model.to(device) d2l.train_ch8(model, train_iter, vocab, lr, num_epochs, device)2.LSTM的简洁实现

循环神经网络 李沐代码