- 博客(14)
- 收藏
- 关注
RSS订阅原创 Attention Is All You Need笔记
Transformer 与 RNN 不同，可以比较好地并行训练。RNN缺点是顺序执行，导致无法并行，很慢。Transformer可以有很深的深度，还可以快速并行训练。Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V矩阵通过输出进行线性变换得到。
2024-03-12 13:01:16
937
1
原创 LeNet、AlexNet、VGG、GoogleNet、ResNet经典网络总结
Inception就是把多个卷积或池化操作，放在一起组装成一个网络模块，设计神经网络时以模块为单位去组装整个网络结构。模块如下图所示在未使用这种方式的网络里，我们一层往往只使用一种操作，比如卷积或者池化，而且卷积操作的卷积核尺寸也是固定大小的。但是，在实际情况下，在不同尺度的图片里，需要不同大小的卷积核，这样才能使性能最好，或者或，对于同一张图片，不同尺寸的卷积核的表现效果是不一样的，因为他们的感受野不同。
2024-03-09 17:48:53
2193
原创 VGG_net
是的，Python语法允许在不同的作用域中使用同名的变量，因为Python是一种动态类型语言，变量的作用域和类型是在运行时确定的。在不同的作用域中可以使用相同的变量名，但它们实际上是不同的变量。这次不像LeNet那么直白的按顺序写层和结构了，这次是以嵌套循环的方式重复生成卷积层和池化层，这样的写法更聪明。而在模型前向传播的过程中，在这段代码中代表输入张量，经过模型的前向传播操作后，会得到模型对输入图像的分类结果。值得注意的是，pytoon中的新变量声明是弱声明，只要写出变量名= 变量内容即可。
2024-03-09 12:48:06
1721
原创 【视频理解】论文串讲
在这篇文章之前也有神经网络来做的，但是在AlexNet出现之前，使用数据集比较小，网络也比较浅。这篇文章算是深度学习时代使用卷积神经网络去处理视频理解的最早期的工作之一第一种方法是比较直接的，想法就是如何将卷积神经网络从图片识别应用到视频识别里面，视频和图片的区别就是多了一个时间轴，有更多的视频帧而不是单个的图片，所以自然是有几个变体是需要尝试的1、Later-Fusion在网络输出层面做的一些结合。
2024-03-07 22:42:38
1921
转载 手工设计特征方法指的是什么算法？是什么意思？
手工设计特征方法是指在目标检测算法中，通过人工设计图像特征来识别目标物体的算法。HOG特征：HOG特征是一种用于目标检测的特征，它通过计算图像中梯度方向的直方图来识别目标物体。SIFT特征：SIFT特征是一种用于目标检测的特征，它通过检测图像中的局部极值点，并提取其局部特征来识别目标物体。SURF特征：SURF特征是一种用于目标检测的特征，它通过检测图像中的兴趣点，并计算其尺度不变特征来识别目标物体。LBP特征：LBP特征是一种用于目标检测的特征，它通过计算图像中局部二值模式的直方图来识别目标物体。
2024-03-07 16:25:19
292
转载 【Pytorch基础】torch.nn.MSELoss损失函数
但是，在具体的应用中跟定义稍有不同。主要差别是参数的设置，在torch.nn.MSELoss中有一个reduction参数。版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。原文链接：https://blog.youkuaiyun.com/zfhsfdhdfajhsr/article/details/115637954。MSE: Mean Squared Error（均方误差）如果不设置reduction参数，默认是’mean’。
2024-01-24 16:26:45
299
1
原创 深度学习之卷积、池化操作
针对这篇论文，有输入的三维尺寸，有卷积层的尺寸和卷积核个数以及步长，结合输出的尺寸，可以推算出每一层的padding。发现大部分的论文只给出了大致的网络结构，有些细节的参数就会被忽略，比如padding。在手动实现的过程中，发现。
2024-01-18 22:22:13
411
1
原创 在深度学习中学python(2)
时，Python会抛出一个TypeError异常，因为它期望的是类方法而不是实例方法。所以，如果你在类定义中定义了。则是一个普通方法，也在对象创建时自动调用，用于初始化对象的属性。它的第一个参数也是self，表示创建的对象本身。是一个特殊方法，在对象创建时自动调用，用于初始化对象的属性。它的第一个参数是self，表示创建的对象本身。方法被定义为类方法，而不是实例方法。当你尝试在实例方法中调用。方法，那么你应该使用它来初始化对象的属性。方法，你需要将它定义为类方法，而不是实例方法。这通常是因为在类的定义中，
2024-01-18 22:12:54
414
1
原创 卷积神经网络之池化操作
1、降低特征响应图组中每个特征响应图的宽度和高度，减少后续卷积层的参数的数量，降低计算资源耗 费，进而控制过拟合。2、可以把图变小，从而扩大视野范围，也就是我们通常说的扩大感受野。——使用区域内的最大值来代表这个区域；——采用区域内所有值的均值作为代表。
2024-01-17 16:33:46
695
原创 神经网络之卷积计算
卷积通常是采用卷积核与输入进行计算，得到一个输出，我们将这个输出叫做特征响应图组。卷积层输入不局限于图像，可以是任意三维数据矩阵。而卷积核深度通常不被关心，因为它时刻与输入的三维数组也就是图片的深度保持一致，而输出的特征响应图的深度是由卷积核个数决定的。卷积核的参数包括宽度w、长度h、深度d、个数、步长stride、边界填充padding。值得注意的是，padding是指零填充的数量，而不是指填充的数字。一般卷积核的长度和宽度是一样的，被写作kernel_size。
2024-01-17 16:06:48
427
原创 在深度学习中学python(1)
顺便说一下，width_multiple参数用于控制网络的宽度，取值范围同样为0到1之间，数值越小，网络的宽度越窄;数值越大，网络的宽度越宽。这个参数可以用来调整模型的通道数和特征提取能力。其中depth_multiple参数用于控制网络的深度，取值范围为0到1之间，数值越小，网络的深度越浅;数值越大，网络的深度越深。这个参数可以用来调整模型的参数数量和计算复杂度。Python if...else三元表达式。随后在yolov7的yolo.py中，
2024-01-06 20:28:49
470
1
原创 1、从零开始学C （菜鸟教程笔记）
也可以通过代码查询浮点型的精度和范围：其中 %E为以指数形式输出单、双精度实数。为了得到某个类型或某个变量在特定平台上的准确大小，您可以使用。经过编程才发现，long类型和int类型占据的字节数是一样的。得到对象或类型的存储字节大小。
2023-12-10 21:37:30
76
1
transformer论文笔记及思维导图
2024-03-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人