[caffe解读] caffe从数学公式到代码实现5-caffe中的卷积

2018年深度学习技术栈演进:从PyTorch 1.0到BERT的工程化转折点 深度学习作为人工智能的核心技术,其发展经历了从理论探索到工程落地的关键转折。其核心原理是通过多层神经网络模拟人脑学习机制,从数据中自动提取特征表示。这一技术价值在于能够解决传统算法难以处理的复杂模式识别问题,如图像分类、自然语言处理和时间序列预测等。在应用场景上,深度学习已广泛应用于计算机视觉、语音识别、推荐系统等领域。2018年是深度学习技术栈演进的分水岭,PyTorch 1.0的发布统一了研发与生产工具链,确立了“动态开发、静态部署”的最佳实践;而BERT模型的提出则奠定了“预训练+微调”的范式,推动了 阅读详情

今天要讲的就是跟卷积相关的一些layer了

im2col_layer.cpp

base_conv_layer.cpp

conv_layer.cpp

deconv_layer.cpp

inner_product_layer.cpp

01

im2col_layer.cpp

这是caffe里面的重要操作,caffe为什么这么耗显存,跟这个有很大关系。im2col的目的,就是把要滑动卷积的图像,先一次性存起来,然后再进行矩阵乘操作。简单来说,它的输入是一个C*H*W的blob,经过im2col操作会变成K' x (H x W) 的矩阵,其中K' =C*kernel_r*kernel_r,kernel_r就是卷积核的大小,这里只看正方形的卷积核。

如果不用这样的操作,贾扬清有一个吐槽,对于输入大小为W*H,维度为D的blob,卷积核为M*K*K,那么如果利用for循环,会是这样的一个操作,6层for循环,计算效率是极其低下的。

for w in 1..W

具体im2col是什么原理呢?先贴出贾扬清的回答,https://www.zhihu.com/question/28385679

640?wx_fmt=jpeg

上面说了,要把C*H*W的blob,变成K' x (H x W)或者 (H x W) xK' 的矩阵,把filters也复制成一个大矩阵,这样两者直接相乘就得到结果,下面看一个简单小例子。

借用网友一张图,虽然和caffe细节上不同,但是还是有助于理解。http://blog.youkuaiyun.com/mrhiuser/article/details/52672824

4*4的原始数据,进行stride=1的3*3操作,其中im2col的操作就是:

640?wx_fmt=jpeg

也就是说4*4的矩阵,经过了im2col后,变成了9*4的矩阵,卷积核可以做同样扩展,卷积操作就变成了两个矩阵相乘。

下面看im2col的代码;

template <typename Dtype>

相关注释已经放在了上面,col2im的操作非常类似,可以自行看源码,这一段要自己写出来怕是需要调试一些时间。

有了上面的核心代码后,Forward只需要调用im2col,输入为bottom_data,输出为top_data,Backward只需要调用col2im,输入为top_diff,输出为bottom_diff即可,代码就不贴出了。

02

conv_layer.cpp,base_conv_layer.cpp

数学定义不用说,我们直接看代码,这次要两个一起看。由于conv_layer.cpp依赖于base_conv_layer.cpp,我们先来看看base_conv_layer.hpp中包含了什么东西,非常多。

base_conv_layer.hpp变量:

/// @brief The spatial dimensions of a filter kernel.

非常之多,因为卷积发展到现在,已经有很多的参数需要控制。无法一一解释了,stride_,pad_,dilation是和卷积步长有关参数,kernel_shape_是卷积核大小,conv_input_shape_是输入大小,output_shape是输出大小,其他都是以后遇到了再说,现在我们先绕过。更具体的解答,有一篇博客可以参考

http://blog.youkuaiyun.com/lanxuecc/article/details/53188738

下面直接看conv_layer.cpp。既然是卷积,输出的大小就取决于很多参数,所以先要计算输出的大小。

void ConvolutionLayer<Dtype>::compute_output_shape() {

然后,在forward函数中,

template <typename Dtype>

我们知道卷积层的输入,是一个blob,输出是一个blob,从上面代码知道卷积核的权重存在了this->blobs_[0]->cpu_data()中, this->blobs_[1]->cpu_data()则是bias,当然不一定有值。外层循环大小为bottom.size(),可见其实可以有多个输入。

看看里面最核心的函数,this>forward_cpu_gemm。

输入input,输出col_buff,关于这个函数的解析,https://tangxman.github.io/2015/12/07/caffe-conv/解释地挺详细,我大概总结一下。

首先,按照调用顺序,对于3*3等正常的卷积,forward_cpu_gemm会调用conv_im2col_cpu函数(在base_conv_layer.hpp中),它的作用看名字就知道,将图像先转换为一个大矩阵,将卷积核也按列复制成大矩阵;

然后利用caffe_cpu_gemm计算矩阵相乘得到卷积后的结果。

template <typename Dtype>

反向传播:

template <typename Dtype>

略去bias,从上面源码可以看出,有this->weight_cpu_gemm和this->backward_cpu_gemm两项。

this->backward_cpu_gemm是计算bottom_data的反向传播的,也就是feature map的反向传播。

template <typename Dtype>

}

weight_cpu_gemm是计算权重的反向传播的;

template <typename Dtype>

其中诸多细节,看不懂就再去看源码,一次看不懂就看多次。

03

 deconv_layer.cpp

640?wx_fmt=jpeg

卷积,就是将下图转换为上图,一个输出像素,和9个输入像素有关。反卷积则反之,计算反卷积的时候,就是把上图输入的像素乘以卷积核,然后放在下图对应的输出各个位置,移动输入像素,最后把所有相同位置的输出相加。

template <typename Dtype>

forward直接调用了backward_cpu_gemm函数,反向的时候就直接调用forward函数,这里肯定是需要反复去理解的,一次不懂就多次。

template <typename Dtype>

04

inner_product_layerfilter.hpp

既然卷积层已经读过了,现在该读一读全连接层了。

全连接层和卷积层的区别是什么?就是没有局部连接,每一个输出都跟所有输入有关,如果输入feature map是H*W,那么去卷积它的核也是这么大,得到的输出是一个1*1的值。

它在setup函数里面要做一些事情,其中最重要的就是设定weights的尺寸,下面就是关键代码。num_output是一个输出标量数,比如imagenet1000类,最终输出一个1000维的向量。

K是一个样本的大小,当axis=1,实际上就是把每一个输入样本压缩成一个数,C*H*W经过全连接变成1个数。

const int num_output = this->layer_param_.inner_product_param().num_output();

所以,weight的大小就是N*K_。

有了这个之后,forward就跟conv_layer是一样的了。

好了,这一节虽然没有复杂的公式,但是很多东西够大家喝一壶了,得仔细推敲才能好好理解的。caffe_cpu_gemm是整节计算的核心,感兴趣的去看吧!

同时,在我的知乎专栏也会开始同步更新这个模块,欢迎来交流

https://zhuanlan.zhihu.com/c_151876233

注:部分图片来自网络


—END—

打一个小广告,我的摄影中的图像基础技术公开课程《AI 程序员码说摄影图像基础》上线了,主要从一个图像处理工程师的角度来说说摄影中的基础技术和概念,欢迎大家订阅交流。

640?wx_fmt=png

加入我们做点趣事

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=png

微信

Longlongtogo

640?wx_fmt=png

公众号内容

1 心路分享|2 摄影知识|3 深度学习

640?wx_fmt=jpeg 640?wx_fmt=jpeg

往期精彩

 

[caffe解读] caffe从数学公式到代码实现4-认识caffe自带的7大loss。

 

如何步入深度学习刷榜第一重境界。

从零构建智能ai语音助手:ESP32s3+Python+大语言模型实战指南 本文详细介绍了基于ESP32S3硬件和Python后端的智能语音助手系统开发指南。系统采用ESP32S3采集语音,通过WebSocket实时传输到Python后端处理,利用大语言模型实现自然语言理解和意图识别,再通过TTS合成语音返回。文章从系统架构、工作流程、技术实现(包括OPUS编码、WebSocket通信、ESP32音频处理)等方面进行了详细讲解,并提供了分阶段学习路线和常见问题解决方案。该项目展示了物联网技术与AI技术的融合应用,相比传统语音系统具有更高的灵活性和智能性,为开发者提供了完整的实现方案 阅读详情

相关推荐

FPGA人脸识别检测(先获取人脸图像以及灰度二值化)

由于图片有空洞等缺陷,所以后面要进行中值滤波、腐蚀、膨胀等算法处理,然后再对人脸进行框选,最后显示出来。最终的成像应该是下面这样的。(后面有时间再接着做哈哈哈)5、通过modelsim将操作后的图片数据写入gray_img.txt里面后,用matlab将txt转成图片。1、先用matlab将图片转换成txt数据,代码如下。读取图片的方式按照博客咸鱼里的方式来做,如下。2、FPGA读取txt数据。4、FPGA顶层模块及仿真。3、FPGA灰度二值化。

weixin_46312715的博客 2531

caffe使用

目录 1.caffe源码深入学习5:超级详细的caffe卷积层代码解析 2.实用:使用caffe训练模型时solver.prototxt中的参数设置解析 1.caffe源码深入学习5:超级详细的caffe卷积层代码解析 https://blog.youkuaiyun.com/jiongnima/article/details/69055941 针对conv_layer.cpp 注意dilation...

sinat_31376397的博客 251

无法找到来自源 nvlddmkm 的事件 ID 14 的描述

具体错误是: 无法找到来自源 nvlddmkm 的事件 ID 14 的描述。本地计算机上未安装引发此事件的组件,或者安装已损坏。可以安装或修复本地计算机上的组件。 出现这样错误的原因有很多了,有可能是硬件有可能是软件。由于我是刚配置的电脑,起初非常怀疑是自己组装的问题,折腾了好久,心态爆炸!!!先说我报这样错误的情况,以及解决办法,供后面人参考。 ...

SeventhBlue 6万+

caffe源码深入学习5:超级详细的caffe卷积层代码解析

caffe实现的卷积层是一个功能强大完整,同时也是一个相对复杂的层,涉及conv_layer.hpp,conv_layer.cpp,base_conv_layer.hpp和base_conv_layer.cpp,请读者朋友们仔细欣赏~

jiongnima的博客 1万+

配电网可靠性评估(一)—最小路法和非序贯蒙特卡洛模拟法的matlab实现

电力系统的可靠性研究是相关领域的热点问题。根据研究对象的不同,又可分为发电系统的可靠性,输电系统的可靠性和配电系统的可靠性。配电网在电力系统中处于最末端的位置,直接和用户相连,一旦出现故障情况,就会在用户侧表现为停电事故。因此对配电网的可靠性评估有着重大意义。......

配电网和matlab的博客 1万+

运放+三极管恒流源电路设计实战:从原理到仿真一步到位(附Multisim文件)

本文详细解析了运放与三极管构建恒流源电路的核心原理,重点阐述了负反馈机制如何实现精准的电流控制。通过Multisim仿真实战,从电路搭建、参数计算到负载调整率与动态响应分析,一步步指导设计过程,并提供常见故障的调试技巧与PCB设计要点,帮助工程师从理论平稳过渡到可靠实践。

7z8x2c4v6b9的博客 712

caffe卷积层延伸:卷积核膨胀详细解析

在笔者的上一篇博客中,解析caffe的卷积层时,在conv_layer.cpp中有一个卷积核膨胀操作,在conv_layer.cpp的第17行有如下代码 const int kernel_extent = dilation_data[i] * (kernel_shape_data[i] - 1) + 1;    上面的代码描述了卷积核的膨胀操作,我们不妨来做个假设,卷积核为3*3的,膨胀系数为

jiongnima的博客 1万+

102、栅极驱动芯片选型与设计

文章摘要 本文分享了栅极驱动芯片选型与设计的实战经验。通过一次因驱动芯片选型不当导致的炸管事故,作者总结了栅极驱动芯片选型的五个关键参数:峰值驱动电流、驱动电压范围、传播延迟匹配、欠压锁定和隔离等级。文章详细分析了自举电路设计中的常见陷阱,以及栅极电阻对开关特性的影响,并强调了PCB布局布线的重要性。最后,作者提供了七条实用建议,包括避免通用型驱动芯片、关注CMTI参数、使用插件电阻等。核心观点是:栅极驱动设计需要综合考虑参数匹配、电路布局和实际调试,示波器实测波形是验证设计的唯一标准。

2401_88858637的博客 51

Caffe源码精读 - 7 - Caffe Layers之deconv_layer(反卷积层)

Class_7 Caffe Layers之deconv_layer(反卷积层) 1. 概述 deconv_layer是反卷积层,在DL领域又叫转置卷积。 反卷积层到目前最大的用处就是实现上采样。典型的如yolov3和yolov4中,做feature map融合的时候,先采取1*1卷积降维,然后采用反卷积实现上采样。 deconv_layer也是和base_conv_layer有千丝万缕的联系,鉴于在讲conv_layer的时候已经讲过,在此不做赘述。 2. deconv_layer ...

tecsai的博客 665

UE5实现物体高亮描边效果(含UE相关源码浅析)

UE5实现物体高亮描边效果

专注GIS开发 7335

FD.io/VPP — VPP 的实现原理解析

目录 文章目录目录VPPVPP 的关键创新技术数据报文的矢量处理标量报文处理方式I-cache miss 问题矢量数据报文处理方式标量 v.s. 矢量报文处理流程Packet Processing Graph(数据报文处理图)Packet Processing Graph 的处理流程Graph Node Plugin 机制 VPP WIKI:https://wiki.fd.io/view/VPP Docs:https://fd.io/docs/vpp/master/index.html Github:ht

烟云的计算 2593

Caffe源码精读 - 3 - Caffe Layers之conv_layer(卷积层)

Caffe Layers之conv_layer(卷积层) 概述 卷积层是组成卷积神经网络的基础应用层,也是最常用的层部件。而卷积神经网路有事当前深度学习的根本。在一般算法的Backbone、neck和head基本都是由卷积层组成。 卷积操作 一般从数学角度讲,卷积分两个步骤,第一步做翻转,第二部乘积求和。 DL中的卷积操作是一种无翻转卷积,类似于相关操作。卷积的作用即是提取特征,通过一层层的卷积,使得特征被一步步浓缩。在卷积操作过程中,浅层卷积保留更多的描述信息,而深层卷积描述更多的抽象特..

tecsai的博客 1971

SpringBoot如何正确连接SqlServer(亲测可用)

对于SpringBoot连接SqlServer的方式和常见的错误的汇总。1、驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接。2、com.microsoft.sqlserver.jdbc.SQLServerException: 对象名 ‘DUAL‘ 无效。

黄团团的个人博客 2万+

【caffe解读】 caffe从数学公式到代码实现5-caffe中的卷积

文章首发于微信公众号《与有三学AI》 [caffe解读] caffe从数学公式到代码实现5-caffe中的卷积 今天要讲的就是跟卷积相关的一些layer了 im2col_layer.cpp base_conv_layer.cpp conv_layer.cpp deconv_layer.cpp inner_product_layer.cpp 01 im2col_layer.c...

hacker_long的专栏 640

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

c++调用caffe ssd_【caffe教程5】caffe中的卷积

本文首发于公众号《有三AI》[caffe解读] caffe从数学公式到代码实现5-caffe中的卷积​mp.weixin.qq.com今天要讲的就是跟卷积相关的一些layer了im2col_layer.cppbase_conv_layer.cppconv_layer.cppdeconv_layer.cppinner_product_layer.cpp1 im2col_layer.cpp这是caff...

weixin_34800976的博客 259

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

【好专栏】深度学习框架不会用?12大主流深度学习框架快速入门,你值得拥有!...

欢迎来到【好专栏】,本次我们给大家推荐一个专栏,名为《12 大深度学习开源框架快速入门》,这个专栏为介绍了深度学习的 12 大主流框架,附带实践案例,能够让读者快速掌握深度学习框架的使用...

Leong Blog 516

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

caffe源码解读

caffe源码解读Caffe组成结构Blob模块SyncedMemory类layer类输入层Data Layer网络层ReLULayer Caffe组成结构 caffe主要由下列4个类组成:Blob;layer;Net;Solver。主要功能如下: caffe.proto定义了多个message结构体,它包含了网络需要传递的参数。required是必须要定义的,optional是可选的(后面可加默...

renchenliang的博客 713

Caffe(6)--神经网络中卷积层、池化层输出特征图大小计算

在图像卷积和池化操作中有固定的kernel_size和stride,当stride &amp;amp;gt; 1时,边界上会有可能发生越界的问题。 Caffe中的卷积、池化后输出图像尺寸计算 (1)卷积 计算定义在conv_layer.cpp中的compute_output_shape()函数中 const int output_h = (height + 2 * pad_h - (dilatio...

对角巷 1万+

caffe代码阅读10:Caffe中卷积的实现细节(涉及到BaseConvolutionLayer、ConvolutionLayer、im2col等)-2016.4.3

本文介绍了Caffe中的卷积层的实现,以及卷积实现的时候所使用的im2col的实现,其中重点介绍了im2col的实现原理。

一亩半分地 1万+

Caffe源码(五):conv_layer 分析

目录目录 简单介绍 主要函数 compute_output_shape 函数 Forward_cpu 函数 Backward_cpu 函数简单介绍首先要明确的一点是:ConvolutionLayer 是 BaseConvolutionLayer的子类,BaseConvolutionLayer 是 Layer 的子类。ConvolutionLayer 除了继承了相应的成员变量和函数以外,自己的成员函数

seven_first的博客 9132

Caffe中卷积层的实现

作者:xg123321123出处:http://blog.youkuaiyun.com/xg123321123/article/details/53319080声明:版权所有,转载请联系作者并注明出处1 简述 使用im2col分别将featrue maps和filter转换成矩阵; 调用GEMM(GEneralized Matrix Multiplication)对两矩阵内积,这样一来卷积操作就被转化为了矩阵乘

时光杂货店 6014

caffe中的卷积层源码笔记

卷积层的实现在conv_layer.hpp和conv_layer.cpp,在于其中的ConvolutionLayer类,继承于BaseConvolutionLayer类。 卷积主要的处理过程是将图像bottom[i]->cpu_data()+j * this->bottom_dim_进行im2col处理,转化成一个新的矩阵col_buff,然后用权值矩阵weights∗*转化后的矩阵 得到

便纵有千种风情 1014

Caffe中DeconvolutionLayer的用法

写在前面:关于Deconvolution 与Transposed Convolution的字面上的区别,在此不再讨论,以下统称为Deconvolution,可参考http://blog.youkuaiyun.com/u013250416/article/details/78247818。在我的理解里面,Convolution是将大尺寸的feature map转换为小尺寸的feature map,而Deconv...

北望花村 9542

Caffe解读(一)

Caffe 基本架构 理解caffe的架构,包括blob,layer,net,solver,tools的关系等 源码文件结构 tools 保存的源码是用于生成二进制处理程序的,caffe在训练时实际是直接调用这些二进制文件 include Caffe的实现代码的头文件 src 实现Caffe的源文件 gtest: google test一个用于测试的库你make runtest时看见的很多

cookie_234的博客 714

caffe各层解析以及参数说明(慢慢整理,做个笔记)

Convolution层 layer { name: &amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;quot;conv1&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;quot; type: &amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;a

mingo_敏 3413

cnn池化层输入通道数_《动手学习深度学习》之三:1.卷积神经网络(CNN)基础(打卡2.4)...

卷积神经网络(CNN)1.卷积神经网络基础1.1.基础概念1.1.1.卷积层1.1.2.填充、步幅、输入通道、输出通道的含义1.1.3.池化层1.1.4.二维互相关运算二维互相关(cross-correlation)运算的输入是一个二维输入数组和一个二维核(kernel)数组,输出也是一个二维数组,其中核数组通常称为卷积核或过滤器(filter)。 import torchimport tor...

weixin_39761822的博客 501
上一篇: [caffe解读] caffe从数学公式到代码实现4-认识caffe自带的7大loss
下一篇: 【从caffe到Tensorflow 1】io 操作
言有三
言有三 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄15年 3635粉丝 976原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值