[caffe解读] caffe从数学公式到代码实现2-基础函数类

如何在Caffe中配置每一个层的结构 最近刚在电脑上装好Caffe,由于神经网络中有不同的层结构,不同类型的层又有不同的参数,所有就根据Caffe官网的说明文档做了一个简单的总结。 1. Vision Layers 1.1 卷积层(Convolution) 类型:CONVOLUTION 例子 layers { name: "conv1" type: CONVOLUTION bottom: "data" 阅读详情

接着上一篇,本篇就开始读layers下面的cpp,先看一下layers下面都有哪些cpp。

absval_layer.cpp

其中,下面这些layer是不需要反向传播的,大部分都是io类,我们就不讲了,自己去看。

threshold_layer.cpp

剩下的就是要讲的,我们先从官方的开始看,后面再看自己写的以及一些开源的。这些layers大概有这么几大类,基础数学函数类,blob shape操作类,loss类。

本节先看一些基础函数类的layer,都只有一个输入,一个输出。注意其中有一些是容许inplace 的layer,有一些是不容许的。所谓inplace,输入输出共用一块内存,在layer的传播过程中,直接覆盖,省内存。Caffe在开源框架中,是比较占内存的了。

01

absval_layer.cpp

数学定义:

640?wx_fmt=png

由于这是第一个例子,我们说的详细些;

Forward:

template <typename Dtype>

其中,count是blob的size,等于N*C*H*W,bottom[0]是输入x,top[0]是输出f(x),利用mutable_cpu_data来写入,cpu_data来读取。

Backward:

template <typename Dtype>

根据梯度下降法和链式法则,

一次标准的梯度更新过程如下,wt+1=wt+Δwt,对于sgd算法,其中 wt=−η⋅gt ,w为参数,t为时序,Δ为更新量,η为学习率,g为梯度

其中梯度g就是

640?wx_fmt=png

在backward中,我们只需要计算出即可,至于上面的符号,学习率等在其他地方处理,其实就是

640?wx_fmt=png

其中其实top_diff,就是对应:

const Dtype* top_diff = top[0]->cpu_diff();

在这里我们知道了,cpu_data就是bottom的data,而cpu_diff就是它存储的梯度,有疑问可以返回上一篇。

propagate_down是一个参数,用于控制是否容许梯度下传的,

caffe_cpu_sign(count, bottom_data, bottom_diff);实际上就是计算了梯度,

再利用caffe_mul(count, bottom_diff, top_diff, bottom_diff);

就OK了

没有对应的test文件,就不解析了。

02

exp_layer.cpp

看下caffe 关于其参数的定义:

数学定义:

// Message that stores parameters used by ExpLayer

从下面的setuplayer中可以看出,如果base不是-1,则必须是大于0的数,也就是-2,-3等是不支持的。

const Dtype base = this->layer_param_.exp_param().base();

640?wx_fmt=png

当base=-1,也就是默认时f(x)=e^{αx+β},就是我们熟悉的指数函数了

还记得指数函数求导吧;

640?wx_fmt=png

03

log_layer.cpp

数学定义:

640?wx_fmt=png

同样base=-1是默认值,否则必须大于0

640?wx_fmt=png

04

power_layer.cpp

数学定义:

640?wx_fmt=png

梯度也是很简单的,不过为了提高计算效率,caffe尽可能的复用了中间结果,尤其是在反向传播的时候,分两种case,完整的计算大家还是去看代码,这里粘代码太难受了。

05

tanh_layer.cpp

数学定义:

640?wx_fmt=png

这一次咱们遇到有test layer,仔细说说。

在caffe/test目录下test_tanh_layer.cpp

所谓测试,就是要验证网络的正向和反向。

这个文件是这样测试的:

先定义了个tanh_naïve函数,然后利用GaussianFille初始化一个bottom,将其通过forward函数,把出来的结果和tanh_naïve的结果进行比对,完整代码如下,感受一下:

void TestForward(Dtype filler_std) {

EXPECT_NEAR函数就会检查梯度是否正确,如果过不了,就得回去看forward函数是否有错了。

反向验证:

void TestBackward(Dtype filler_std) {

其中GradientChecker(const Dtype stepsize, const Dtype threshold,

const unsigned int seed = 1701, const Dtype kink = 0.,const Dtype kink_range = -1)

可以设置stepwise和误差阈值,CheckGradientEltwise是逐个像素检查。

06

sigmoid_layer.cpp

数学定义:

640?wx_fmt=png

07

 relu_layer.cpp

数学定义:

640?wx_fmt=png

其中negative_slope a默认=0,退化为f(x)=max(x,0)

上面的relu其实包含了我们常说的relu和ReLU和LeakyReLU

08

 prelu_layer.cpp

与LeakyReLU不同的是,负号部分的参数a是可学习的并不固定。所以,在反向传播时,该参数需要求导,默认a=0.25。

数学定义

640?wx_fmt=png

此处的a是个变量。

首先,对x也就是bottom的求导

640?wx_fmt=png

代码如下

if (propagate_down[0]) {

而scale参数的求导,则会稍微复杂些,如下

if (this->param_propagate_down_[0]) {

因为对于blob中第i个数据, 当i不等于k时,yi 与xk是没有关系的,但是a却与blob中的所有数据有关系。

我们重新表述一下

640?wx_fmt=png

09

elu_layer.cpp

数学定义:

640?wx_fmt=png

10

bnll_layer.cpp

数学定义:

640?wx_fmt=png

这次就先这样。

同时,在我的知乎专栏也会开始同步更新这个模块,欢迎来交流

https://zhuanlan.zhihu.com/c_151876233

注:部分图片来自网络


—END—

打一个小广告,我的摄影中的图像基础技术公开课程《AI 程序员码说摄影图像基础》上线了,主要从一个图像处理工程师的角度来说说摄影中的基础技术和概念,欢迎大家订阅交流。

640?wx_fmt=png

640?wx_fmt=jpeg

加入我们做点趣事

640?wx_fmt=jpeg

640?wx_fmt=jpeg

往期精彩

 

[caffe解读] caffe从数学公式到代码实现1-导论。

如何步入深度学习刷榜第一重境界。

为了压榨CNN模型,这几年大家都干了什么。

 

 

9、工业数据管理:Historian、ERP、MES与资产模型解析 本文深入解析了工业数据管理中的核心概念与技术,包括Historian数据库、ERP和MES系统以及资产模型。文章详细介绍了Historian数据库的特性、架构分类、数据采集方式及时间序列处理能力,同时探讨了ERP和MES系统的功能与优势,特别是MES在生产执行中的重要作用。资产模型部分结合ISA-95和ISA-88标准,阐述了工业资产的层次化建模方法。此外,文章还分析了各系统之间的协同关系、面临的挑战及应对策略,并展望了未来工业数据管理的发展趋势,如云原生技术、人工智能融合和工业物联网的应用。 阅读详情

相关推荐

保姆级教学:从0搭建微信小程序SpringBoot+Vue(一)

目标:实现一个微信小程序从后端数据库MySQL获取的商品展示页。 框架:后端采用SpringBoot,前端采用Vue,数据库MySQL。 部署工具:IntelliJ IDEA 2024.2专业版+HbuilderX+Node+微信开发者工具,jdk1.8已安装

weixin_44545610的博客 4928

caffe layer层详解

1、基本的layer定义,参数1、基本的layer定义,参数如何利用caffe定义一个网络,首先要了解caffe中的基本接口,下面分别对五类layer进行介绍Vision Layers可视化层来自于头文件 Header: ./include/caffe/vision_layers.hpp 一般输入和输出都是图像,这一层关注图像的2维的几何结构,并根据此结构对输入进行处理,特别是,大多数可视化层都通

swfa1的专栏 1万+

FPGA_AD9361实战

1.参考网站。

Pual_Georg的博客 751

caffe 的layer的参数说明

最近在学习caffe做实验 今天就记录一下layer的参数及这些常用的参数的解释吧主要还是参考官方网站 http://caffe.berkeleyvision.org/tutorial/layers.html下面就介绍一下常用的layer的配置 以caffe中根目录下的models 中caffenet 其中主要有三个文件 deploy.prototxt solver.protot

Losteng的博客 1万+

谷歌DreamFusion使用方法及实例详解

DreamFusion 是谷歌提出的基于文本生成3D模型的突破性技术,无需3D训练数据,通过2D扩散模型(如Imagen)与NeRF(神经辐射场)结合实现。以下为使用社区开源实现(如。)的详细步骤及实例。

主攻大数据 人工智能 物联网 安全 低空经济等方向。mtsc 、gtest特邀分享嘉宾 1043

Labview 机器视觉(4)之 图像处理进阶 - 动态ROI与批量保存

本文深入探讨了LabVIEW机器视觉中动态ROI与批量保存两大进阶技术。动态ROI通过模式匹配或粒子分析实现检测区域的自动追踪,解决了产品位置变化带来的挑战。同时,文章详细介绍了如何设计高效的文件命名规则与异步保存机制,以实现海量图像数据的批量保存与管理,从而构建稳定、高效的工业自动化检测系统。

weixin_29234423的博客 219

深度学习caffe框架(2): layer定义

caffe的layers定义

几何君的算法天空 2683

LVGL colorwheel组件教程一(调色板)

【代码】LVGL colorwheel组件教程一(调色板)

摸鱼专家 464

数学希腊符号

【代码】数学希腊符号。

备忘录 1万+

基于模板匹配实现手写汉字识别matlab源码含GUI

主要包括三个按钮和三个图像显示框:第一个按钮用于选择待匹配的手写汉字图像,第二个按钮用于进行匹配,第三个按钮用于清除所有内容。当用户点击匹配按钮时,会自动调用模板匹配函数,并在图像显示框中显示匹配结果。上述代码首先将之前提取的Hu不变矩特征存储在T矩阵中,并将对应的类别信息存储在L向量中。然后读取待匹配汉字,提取其Hu不变矩特征,并使用pdist2函数计算待匹配汉字与所有汉字模板的距离。本文介绍了如何使用matlab实现手写汉字识别,包括汉字模板提取、模板匹配算法、GUI界面设计等方面。

pytorchCode的博客 260

48、量子系统中的信源编码

本文深入探讨了量子系统中的信源编码理论与应用,详细介绍了盲编码与可见编码、定长编码与变长编码四种主要信源编码方案。文章从经典信源编码出发,对比分析了量子场景下的压缩特性,并系统性地阐述了量子定长信源编码的构建方法及相关定理证明。同时,讨论了通用量子定长信源编码的设计思路及其在实际应用中的优势与挑战。通过理论分析与实验进展的结合,为量子信息存储、传输和处理提供了重要的理论基础和技术支持。

m2n3b4v5c6的博客 102

【caffe解读】 caffe从数学公式到代码实现2-基础函数类

文章首发于微信公众号《与有三学AI》 [caffe解读] caffe从数学公式到代码实现2-基础函数类 接着上一篇,本篇就开始读layers下面的cpp,先看一下layers下面都有哪些cpp。 absval_layer.cpp accuracy_layer.cpp argmax_layer.cpp base_conv_layer.cpp base_data_layer.cpp batch_...

hacker_long的专栏 640

7.12真题华为OD机试真题 新系统 - 字符串压缩编码 (Java/Py/C/C++/Js/Go)

7.12真题华为OD机试真题 新系统 - 字符串压缩编码 (Java/Py/C/C++/Js/Go)

算法大师! 845

【caffe解读】 caffe从数学公式到代码实现1-导论

文章首发于微信公众号《与有三学AI》 [caffe解读] caffe从数学公式到代码实现1-导论 真的很多年没有认真写csdn博客了,我回来了 今天开一个新板块,目标是死磕现有的几大机器学习框架的代码,给想入门的小白们一些帮助。 作为一个在图像行业战斗了几年的程序员,深知入门一个框架,和真的能用好一个框架是有很大的区别的,而要想走的更远,开源框架的底层代码一定要去详读。 同时,很多的坑也...

hacker_long的专栏 900

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

caffe不支持relu6_【caffe教程2】caffe中的基础函数

本文首发于公众号《有三AI》[caffe解读] caffe从数学公式到代码实现2-基础函数类​mp.weixin.qq.com接着上一篇,本篇就开始读layers下面的cpp,先看一下layers下面都有哪些cpp。absval_layer.cpp accuracy_layer.cpp argmax_layer.cpp base_conv_layer.cpp base_data_layer.cpp...

weixin_39755952的博客 191

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

caffe data层_【caffe教程1】 caffe代码导论

本文首发于公众号《有三AI》[caffe解读] caffe从数学公式到代码实现1-导论​mp.weixin.qq.com我这个系列caffe代码解读跟大部分人的思路不一样,一般读caffe代码思路是按照caffe的层级结构来,blob到layer到net各自分层来读,但我想提供一个另外的思路,从数学公式到代码实现。从每一个文件背后具体的数学含义来读,这对于我们非数学系或者数学基础不是很好的工程人员...

weixin_29290963的博客 240

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

[caffe解读] caffe从数学公式到代码实现1-导论

新板块说明今天开一个新板块,目标是死磕现有的几大机器学习框架的代码,给想入门的小白们一些帮助。作为一个在图像行业战斗了几年的程序员,深知入门一个框架,和真的能用好一个框架...

hacker_long的专栏 543

【caffe解读】 caffe从数学公式到代码实现4-认识caffe自带的7大loss

文章首发于微信公众号《与有三学AI》 [caffe解读] caffe从数学公式到代码实现4-认识caffe自带的7大lossz 本节说caffe中常见loss的推导,具体包含下面的cpp。 multinomial_logistic_loss_layer.cpp softmax_loss_layer.cpp euclidean_loss_layer.cpp sigmoid_cross_entr...

hacker_long的专栏 825

【caffe解读】 caffe从数学公式到代码实现5-caffe中的卷积

文章首发于微信公众号《与有三学AI》 [caffe解读] caffe从数学公式到代码实现5-caffe中的卷积 今天要讲的就是跟卷积相关的一些layer了 im2col_layer.cpp base_conv_layer.cpp conv_layer.cpp deconv_layer.cpp inner_product_layer.cpp 01 im2col_layer.c...

hacker_long的专栏 640

【caffe解读】 caffe从数学公式到代码实现3-shape相关类

文章首发于微信公众号《与有三学AI》 [caffe解读] caffe从数学公式到代码实现3-shape相关类 接着上一篇说,本篇开始读layers下面的一些与blobshape有关的layer,比如flatten_layer.cpp等,具体包括的在下面; flatten_layer.cpp slice_layer.cpp split_layer.cpp tile_layer.cpp con...

hacker_long的专栏 884

[caffe解读] caffe从数学公式到代码实现5-caffe中的卷积

今天要讲的就是跟卷积相关的一些layer了im2col_layer.cppbase_conv_layer.cppconv_layer.cppdeconv_layer.cp...

hacker_long的专栏 516

[caffe解读] caffe从数学公式到代码实现3-shape相关类

接着上一篇说,本篇开始读layers下面的一些与blob shape有关的layer,比如flatten_layer.cpp等,具体包括的在下面;flatten_laye...

hacker_long的专栏 470

[caffe解读] caffe从数学公式到代码实现4-认识caffe自带的7大loss

本节说caffe中常见loss的推导,具体包含下面的cpp。multinomial_logistic_loss_layer.cpp01multinomial_logist...

hacker_long的专栏 513

Caffe源码解读:BatchNormLayer原理

template void BatchNormLayer::LayerSetUp(const vector*>& bottom, const vector*>& top) { //获取BatchNormParameter参数列表 BatchNormParameter param = this->layer_param_.batch_norm_param(); //得到m

zyf19930610的专栏 808

caffe源码解读(2)-center_loss_layer.cpp

center_loss公式定义 center_loss_layer.cpp源码解读 center loss,softmax loss在mnist数据集上的对比实验 定义 “Center Loss: simultaneously learning a center for deep features of each class and penalizing the distances

冬后晚晴的博客 943

caffe data层_【caffe教程3】caffe中的数据shape相关类

本文首发于公众号《有三AI》[caffe解读] caffe从数学公式到代码实现3-shape相关类​mp.weixin.qq.com接着上一篇说,本篇开始读layers下面的一些与blob shape有关的layer,比如flatten_layer.cpp等,具体包括的在下面;flatten_layer.cpp slice_layer.cpp split_layer.cpp tile_layer....

weixin_42157166的博客 254
上一篇: [caffe解读] caffe从数学公式到代码实现1-导论
下一篇: [caffe解读] caffe从数学公式到代码实现3-shape相关类
言有三
言有三 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄15年 3636粉丝 976原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值