zzhhjjjj的博客

import torch.nn as nnimport torchrnn = nn.RNN(10, 20, 2) # 约定了此 RNN 的输入 input_feature_size=10, output_feature_size=20, num_layers=2print(rnn)input = torch.randn(5, 3, 10) # input=(input_sequence, batch_size, input_feature_size)h0 = torch.randn(2,

参考：http://courses.d2l.ai/zh-v2/assets/pdfs/part-0_6.pdf

2.1 LeNet数据集：MNIST50,000 个训练数据10,000 个测试数据图像大小 28 ×\times× 2810 类LeNet架构第一层第二层第三层总结LeNet 是早期成功的神经网络先使用卷积层来学习图片空间信息然后使用全连接层来转换到类别空间2.2 AlexNet数据集：ImageNet（2010）数据集ImageNetMNIST图片自然物体的彩色图片手写数字的黑白图片大小469 ×\times× 38728

Supervise learningself supervise learning label 不需要特别雇佣人类去标记，他可以自动产生"Self-supervised Learning "这个词，当初Yann LeCun说过，其实并不是一个老词。根据2019年4月在Facebook上的一个帖子，他说，我现在说的这个方法，他叫Self-supervised Learning。为什么不叫无监督学习呢？因为无监督学习是一个比较大的家族，里面有很多不同的方法，为了让定义更清晰，我们叫它 “自监督”，比如我

RNN，或者说最常用的LSTM，一般用于记住之前的状态，以供后续神经网络的判断，它由input gate、forget gate、output gate和cell memory组成，每个LSTM本质上就是一个neuron，特殊之处在于有4个输入：z和三门控制信号ziz_izi​、zfz_fzf​和zoz_ozo​，每个时间点的输入都是由当前输入值+上一个时间点的输出值+上一个时间点cell值来组成RNN用 RNN 处理流程举例如下：“arrive” 的 vector 作为 x1x^1x1 输入 RN

CNN卷积神经网络是含有卷积层的神经网络，而卷积层则得名于卷积运算。Filter在卷积层中，我们会用一个叫做filter的东西扫过一张图片。这些 filter 啊 它们的大小是,3 × 3 × Channel 的 Size。如果今天是彩色图片的话,那就是 RGB 三个 Channel,如果是黑白的图片的话,它的 Channel 就等於 1。一般而言，这个filter大小可以自己决定，我们这里用3×33\times33×3的filter来举例。上图显示了卷积运算的基本过程，用3×33\times33

第一次：样例代码执行在训练过程中能够明显感到过拟合现象，train的accuracy达到99%而valid才0.5左右第二次：添加了数据增强train_tfm = transforms.Compose([ # Resize the image into a fixed shape (height = width = 128) transforms.Resize((128, 128)), # You may add some transforms here. #

class Classifier(nn.Module): def __init__(self): super(Classifier, self).__init__() # The arguments for commonly used modules: # torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride, padding) # torch.nn.MaxPoo.

Introduction of Generative Models我们已经学到各式各样的,network架构,可以处理不同的X 不同的Y接下来我们要进入一个新的主题,这个新的主题是要把network,当做一个generator来用,我们要把network拿来做生成使用那把network拿来,当作generator使用,他特别的地方是现在network的输入,会加上一个random的variable,会加上一个Z **这个Z,是从某一个,distribution sample出来的,所以现在net

课程资源B站视频课程网址课程笔记问答整理下面仅记录自己的所得所感第一节课从单变量回归引入，再sigmoid/RELU拟合函数从而一步步到深度学习的框架，介绍的非常巧妙。尤其在sigmoid/RELU拟合函数那里，听了之后很有收获。...

Sequence-to-sequence(Seq2seq)Transformer就是一个,Sequence-to-sequence的model,他的缩写,我们会写做Seq2seq,那Sequence-to-sequence的model,又是什麼呢我们之前在讲input a sequence的,case的时候,我们说input是一个sequence,那output有几种可能一种是input跟output的长度一样,这个是在作业二的时候做的有一个case是output指,output一个东西,这个是在

1

我们使用self-attention的原因，是考虑在处理Sequence这样的问题时，有没有办法说在考虑整个Sequence的情况下不是说用一个fully-connected这样的方式强硬的处理导致会产生大量参数以及容易overfitting这样的问题所以有没有更好的方法,来考虑整个Input Sequence的资讯呢,这就要用到我们接下来要跟大家介绍的,Self-Attention这个技术Self-Attention的运作方式就是，Self-Attention会吃一整个Sequence的资讯然后你