- 博客(8)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 深度学习-学习路线-个人心得体会
深度学习的学习路线和体会心得时间轴个人的学习路线和时间轴，包含基础知识、部分实践，不包含具体的科研项目一点心得我是非计算机出身的，研究生研究方向深度学习，可以说是零基础。零基础一定一定要打好基础，万丈高楼平地起，打地基都是掘地三尺，一层一层的把地基铺上去，然后一楼、二楼，直到建成摩天大厦。我一开始，因为一些原因，而导致太急太急，缺失的基础太多太多，走了很多的弯路，并且在科研道路上及其不顺利。首先，就是我本身经验不足，根本没有一个良好的规划，也没有专业指导。其次，导师催的很急，根本没有时间来系统性
2022-01-02 15:06:45
1615
2
原创 李宏毅机器学习2021笔记—self-attention（下）
这里是李宏毅机器学习2021笔记self-attention的下篇。如果没看过上篇，可以先看上篇李宏毅机器学习2020笔记-—self-attention（上）。学习本节内容，需要一定的基础知识储备。之前我们已经介绍了，怎么根据input的一排a，得到一个b1.这里需要强调一点，b1到b4，并不需要按顺序。（这里就不再赘述怎么得到b1了）这里我们从矩阵乘法的角度再来看一遍b是怎么产生的。每一个a，都分别要产生不同的q，k，v。要用矩阵运算表示的话，就是每一个a都要乘上一个wq，这里我们可以把.
2021-04-22 11:50:45
779
原创 李宏毅机器学习2021笔记—self-attention（上）
本文为李宏毅老师机器学习2021的self attention一节的学习笔记，接在CNN之后。学习本节之前，需要有一定的基础知识。self attention解决的问题到目前为止，我们network的input都是一个向量，输入可能是一个数值或者一个类别。但是假设我们需要输入的是一排向量，并且向量的个数可能会发生改变，这个时候要怎么处理。比如文字处理的时候：比如我们输入词汇，每个词汇都相当于一个向量，我们可以用很长的一个向量，来表示世界上所有的东西，但是这里有一个问题，就是它假设所有的词汇都是没.
2021-04-21 23:26:10
1904
原创 PyTorch中nn.ReLU(inplace=True)中inplace=True有什么用
nn.ReLU(inplace=True)，在pytorch里面，inplace默认是False的，这里我们设置成True，它的意思是：是否将计算得到的值直接覆盖之前的值。就是对上面conv2d中传过来的tensor直接修改，而不是先找一个变量做中间的传递。这样做的好处就是能够节省运算内存，不用多存储额外的变量。...
2021-04-12 13:00:57
1969
原创 pytorch中self.xxx = nn.Linear和drop_out layer的作用
class torch.nn.Linear(in_features, out_features, bias=True)作用：对输入数据做线性变换：y=Ax+b参数：in_features - 每个输入样本的大小out_features - 每个输出样本的大小bias - 若设置为False，这层不会学习偏置。默认值：True形状：输入: (N,in_features)输出： (N,out_features)变量：weight -形状为(out_features x in_feature
2021-04-10 14:55:48
2891
1
转载 pytorch中卷积操作详解
转载于博主 太阳花的小绿豆pytorch中卷积操作详解https://blog.youkuaiyun.com/qq_37541097/article/details/102926037
2021-04-10 14:32:08
272
原创 深度学习模型里super函数的作用和def __init__的作用
Python super（）函数允许我们明确引用父类。super()函数可以隐式地将子类(sublass)里的method，与父类(superclass)里的method进行关联。这样的好处在于我们不用在子类里显式地重新创建父类method里的属性。 class Model(nn.Module): def __init__(self): super(Model, self).__init__() sel
2021-04-10 14:19:16
1938
2
空空如也
pytorch中计算灰度图的psnr
2021-06-01
TA创建的收藏夹 TA关注的收藏夹
TA关注的人