[caffe解读] caffe从数学公式到代码实现1-导论

caffe入门教程 (一)简介 1.caffe是一个清晰而高效的深度学习框架,纯粹的C++/CUDA架构,支持命令行、Python和MATLAB接口,可以在CPU和GPU直接无缝切换; 2.caffe的主要优势: (1)CPU与GPU的无缝切换; (2)模型与优化都是通过配置文件来设置,无需代码; 3.caffe的下载与安装: (1)下载 (2)安装 (3)caffe的下载与安装以及一些基本的介绍官网 阅读详情

新板块说明

今天开一个新板块,目标是死磕现有的几大机器学习框架的代码,给想入门的小白们一些帮助。

作为一个在图像行业战斗了几年的程序员,深知入门一个框架,和真的能用好一个框架是有很大的区别的,而要想走的更远,开源框架的底层代码一定要去详读。

同时,很多的坑也是在代码中,不仔细读是不知道的。所以,我会单开子菜单,来跟大家系统细致地学习一些主流的机器学习框架。

今天这个是caffe,大概会有7篇左右的文章,一般读caffe代码思路是按照caffe的层级结构来,blob到layer到net各自分层来读,但我想提供一个另外的思路,从数学公式到代码实现。

从每一个文件背后具体的数学含义来读,这对于我们非数学系或者数学基础不是很好的工程人员来说,是比较适合的。

采取的形式就是,layer definition,caffe layer,caffe test layer的格式,举个例子来说,比如softmax,那我就打算从softmax的数学定义,caffe softmax层的实现,caffe softmax test layer的实现。重要代码要加上test layer,因为当我们自己实现某些类时,往往需要梯度反向求导,这时候最好自己写test来验证自己的代码是否正确。

好了,下面就开始吧。当然,现在这是第一篇,所以我们还是不可避免先打下基础,先要阅读下面的内容,对caffe的代码有基本的了解。这是include/caffe根目录下面的代码list。

blob.hpp

一个一个来。

01

1 blob.hpp&cpp

blob是caffe中的基础数据单元,一个blob是一个四维张量,(N,C,H,W),N是batch size大小,C是channel,H,W分别是图像宽高,由于caffe擅长于做图像,所以这个定义天然适合图像。故一个256*256的rgb图像,blob size是(1,3,256,256)。

blob.hpp,需要注意的就是下面的变量和函数

640

其中data_存储数据,diff_存储梯度,shape_分别是blob_的尺度,count_是所有数据数目,即N*C*H*W。

以后要访问这些数据,就会用到下面的函数,其中cpu_data是只读,mutable_cpu_data是可写,gpu类似。

640

上面还有一个疑问,那就是初次见到SyncedMemory类会不知道它是做什么的,它主要负责在GPU或者CPU上分配内存以及保持数据的同步作用。

可参考下面资料:

http://blog.youkuaiyun.com/xizero00/article/details/51001206

http://www.cnblogs.com/korbin/p/5606770.html

由于展开是另一个篇幅,因此我们不过多停留在此,知道blob是通过这样的方式存取即可。

02

caffe.hpp&cpp等

把这几个放这里,一是这里很多是关于gpu和内存等较为底层的编程的,看起来比较费劲,一般也不需要去修改,大家会用即可。重点会讲一下factory。

caffe.hpp头文件包含其他基础hpp。

internal_thread.hpp,与线程有关的变量函数。

parallel.hpp,与并行有关的变量函数。

syncedmem.hpp,内存分配和Caffe的底层数据的切换

solver_factory.hpp,layer_factory.hpp,顾名思义,分别是caffe solver的工厂类模板定义和普通layer的模板定义。

举例拿sovler来多说几句,solver_factory.hpp,其中solver指的是优化方法,由于caffe优化采用的就是梯度下降的方法,包括SGD,NesterovSolver,RMSPropSolver,AdamSolver等通通都定义在sgd_solvers.hpp中。

工厂设计模型,简单了解如下

http://developer.51cto.com/art/201107/277728.htm

http://alanse7en.github.io/caffedai-ma-jie-xi-4/

深入了解需要自己去看,从代码的角度来看就是解决重复造轮子的问题,减少重复代码,在caffe的面试中经常会问到噢。

看下它的代码,重要变量两个

typedef Solver<Dtype>* (*Creator)(const

typedef std::map<string, Creator>

重要函数两个,

static CreatorRegistry& Registry() { static CreatorRegistry*

其中需要注意的是,SolverParameter是一个配置参数不说,CreatorRegistry就是我们以后自定义层需要知道的,需要知道registry是一个map,存储的就是字符串以及对应的以函数指针形式存储的Creator类型的函数,而注册都会在cpp中进行,以后详解。

common.hpp,是一些与io有关的函数与变量,cpu与gpu模式设定变量Brew mode_;函数set_mode,setDevice,以及与随机数有关的函数变量shared_ptr<RNG> random_generator_;

03

 datatransform.hpp&cpp

这是很重要的一个文件,当我们自定义数据层的时候会用到,它的作用就是从磁盘中读取数据塞进caffe定义的变量内存中。从它的头文件就可以看出,它依赖于blob,common,以及caffe.pb.h

#include "caffe/blob.hpp"

caffe.pb.h中就包含了需要序列化的变量。

datatransform.hpp中的变量如下:

shared_ptr<Caffe::RNG> rng_;

可见存储了常见的mean_value。

datatransform.hpp中的的核心是重载的transform函数,它可以按照不同的输入来载入数据,我们平常在caffe内部做的随机crop,flip等等操作都在这里完成,具体大家可以去研究源码,静下心看非常简单。

void Transform(const vector<Datum> & datum_vector,Blob<Dtype>* transformed_blob);

04

filler.hpp

它没有对应的cpp,所有实现都在hpp中,因为很简单,它就是对权重初始化的,其中包含,constantfiller,Gaussianfiller,XavierFiller,MSRAFiller等等,相信大家都比较熟了。

05

solver.hpp

这就是caffe 迭代求解优化的函数定义,其中重要变量loss就在这里,这就是训练caffe时显示出的loss的来源

vector<Dtype> losses_;

迭代优化的函数,

virtual void Solve(const char* resume_file = NULL);

06

layer.hpp

这就是一个层的定义了,想必大家很有兴趣,那具体都有什么呢?

我们首先看变量,

LayerParameter layer_param_;

然后看重要函数

LayerSetUp,用于layer初始化,一般是定义一些shape,初始化一些变量。

virtual void LayerSetUp(const vector<Blob<Dtype>*>& bottom, const vector<Blob<Dtype>*>&

Forward,Backward的cpu和gpu版本,除了数据层等少量层外始终成对存在的前向和反向函数,forward是基于bottom计算top,backward则是基于top计算bottom,很好理解。

virtual void Forward_cpu(const vector<Blob<Dtype>*>& bottom, const vector<Blob<Dtype>*>& top) = 0;

07

net.hpp

这是最大的一个hpp了,也是最高层的,就是整个网络的定义。

看看重要变量:

vector<shared_ptr<Layer<Dtype> > > layers_;

layers_就是所有层,layer_names_;存储了名字,以后在我们inference的时候会需要经常用到。

vector<float> params_lr_;

上面是每一层学习率的参数,在我们想要固定某些层不让其学习,或者调整不同层的学习率时,会非常重要。其实还有很多重要变量如,

vector<Dtype> blob_loss_weights_;

都是经常接触的,不一一描述了大家自己看代码。

下面是一个重载的重要函数,

void CopyTrainedLayersFrom(const

它是重要的初始化网络的方法,可以实现不同形式输入的初始化,在inference时会经常使用的。

好了,第一次基础就这么多,并没有非常细致的讲述而只是对重要内容进行介绍,在开始下面的文章之前,一定要熟读上面的这些hpp和对应cpp文件,对它有什么是什么,熟练于胸。

同时,在我的知乎专栏也会开始同步更新这个模块,欢迎来交流

https://zhuanlan.zhihu.com/c_151876233

注:部分图片来自网络


—END—

打一个小广告,我的摄影中的图像基础技术公开课程《AI 程序员码说摄影图像基础》上线了,主要从一个图像处理工程师的角度来说说摄影中的基础技术和概念,欢迎大家订阅交流。

640

640?wx_fmt=jpeg


加入我们做点趣事

640

640

640640

640

640

640

微信

Longlongtogo

640

公众号内容

1 心路分享|2 摄影知识|3 深度学习

640 640

往期精彩

 

如何步入深度学习刷榜第一重境界。

 

为了压榨CNN模型,这几年大家都干了什么。

2016自动驾驶外行装逼攻略(超长文推荐)。

一文说说这十多年来计算机玩摄影的历史。

EPLAN二次开发实战指南:从API接口到定制化界面 本文为EPLAN二次开发实战指南,详细介绍了从搭建C#开发环境、理解API接口到创建定制化插件的完整流程。通过实战案例,如批量修改设备属性和设计交互式界面,帮助电气工程师利用EPLAN二次开发实现工作流程自动化与深度定制,从而显著提升设计效率。 阅读详情

相关推荐

BQ25798双电源输入4节电池升降压充电与最大功率跟踪于光伏板应用

介绍一颗具有窄范围直流电压NVDC、路径管理PPMT、光伏板最大功率跟踪及反向放电OTG升降压充电控制器,带I2C接口能对内部寄存器做控制

linkedin_38804946的博客 1682

深度学习Caffe框架入门视频课程

深度学习框架caffe入门,详解网络配置中每一个层的结构和参数项,对于超参数配置文件详解每一个参数的含义以及选择策略。对于数据源实例演示了两种常用的数据源LMDB和HDF5格式。课程涉及许多caffe框架的小技巧如绘制网络图和loss曲线,自定义python层等。希望大家通过学习可以熟练使用caffe去训练网络完成各自的任务。

Arm A-profile架构RAS系统设计:可靠性、可用性与可服务性解析

在计算机体系结构中,可靠性(Reliability)、可用性(Availability)和可服务性(Serviceability)是构建高可信系统的核心要素。RAS系统通过硬件错误检测、隔离和恢复机制,确保系统持续稳定运行。其技术原理包括ECC内存纠错、冗余执行单元和错误传播阻断等关键技术,可显著降低数据中心等关键业务场景的故障率。现代芯片设计中,Arm A-profile架构提供标准化的RAS框架,涵盖从内存子系统到计算单元的全方位错误管理。通过分层防御策略和统一错误记录格式,实现硬件错误可追溯、可修复。

weixin_30920853的博客 358

深度学习(六)caffe入门学习

本文主要讲解caffe的整个使用流程,适用于初级入门caffe,通过学习本篇博文,理清项目训练、测试流程。初级教程,高手请绕道。 我们知道,在caffe编译完后,在caffe目录下会生成一个build目录,在build目录下有个tools,这个里面有个可执行文件caffe,如下图所示: 有了这个可执行文件我们就可以进行模型的训练,只需要学会调用这个可执行文件就可以了,这便是最简单的caffe学习,不需要对caffe底层的东西懂太多,只需要会调参数,就可以构建自己的网络,然后调用这个可执行文件就可以进行训练

hjimce的专栏 5万+

6.4 构网型储能的需求与配置

摘要: 构网型储能是新型电力系统的关键支撑技术,通过提供电压/频率形成、惯性和稳定控制能力,解决同步机退出导致的系统稳定性问题。其配置需遵循三大原则:1)容量配置以支撑需求为主导,兼顾能量服务;2)优先布局于电网薄弱点、稳定问题突出区域;3)采用自适应控制策略实现全工况优化。核心应用场景包括新能源送出通道稳定、负荷中心调频、黑启动电源等。规划方法需结合系统分析、量化指标和成本效益评估,实现技术经济最优。未来需重点关注构网/跟网混合系统的临界容量占比及自适应控制技术发展。

技术工作者 1142

博途PLC信号处理系列之卡尔曼滤波程序(Kalman Filter)

三菱系列PLC的卡尔曼滤波程序,可以参看下面这篇博文PLC滤波算法之卡尔曼滤波(kalmanFilter)代码+测试_RXXW_Dor的博客-优快云博客_plc滤波kalman滤波是采用递归的方法解决线性滤波问题,只需要当前的测量值input(西门子PLC里比如我们的模拟量通道AIW0值)和前一个采样周期的估计值(上一个时刻的滤波输出结果last_out)就能进行状态估计,需要的存储空间小,每一步的计算量小。下面我们通过程序代码一一给大家展示下。注意。......

RXXW_Dor的博客 3477

caffe原理之softmax函数

一.softmax简介 softmax主要应用的地方是logistic模型对于多分类模型的推广,将多个神经元的输出问题映射到(0,1)区间中,它的公式为 当某个类的预测值很大时该类的分量流趋向于1,其他类的分量值就变得很小。 二.前向传播 在caffe中的softmax layer中它的前向传播过程如下所示 输入的向量经过指数化和归一化后...

weixin_34090643的博客 311

包成功安装tiny-cuda-nn,记录安装过程中的问题解决,附带pytorch3d安装【踩坑指南】

该包可以显著提高NeRF训练速度,是和NeRFstudio等框架中,必须使用的。本文提供tiny-cuda-nn可以安装的完整包的下载链接,可以直接上传到项目中安装。附带笔者遇到的问题的解决方案。

zik的博客 7030

caffe中的softmax layer

在caffe中的lenet实现最后一层是softmax layer,输出分类的结果,下面就简单介绍一下softmax回归。     1,首先,在caffe中,softmax layer输出的是原始的输入在每一个分类标签上的概率,例如在lenet网络中,输出的分类共有0-9的10中分类,那么softmax layer就会输出含有10个元素的向量,每一个元素表示输入在每一个分类上的概率。

Buyi_Shizi的博客 1万+

CKS-CN考试之路----02

其实我们根据题目也可以知道秘钥是叫clever-cactus。稍作等待后,确认pod的状态,如果是1/1基本就没问题了。这步不一定做.目的是确定秘钥的名字。

Q先生 659

基于YOLOv8的城市违建识别系统:从数据集构建到UI界面实现

YOLOv8是Ultralytics公司于2023年推出的最新一代YOLO(You Only Look Once)系列目标检测算法。更高效的骨干网络设计改进的锚框机制更精确的损失函数支持分类、检测、分割等多任务YOLOv8特别适合像违建识别这样的实时检测任务,能够在保持高精度的同时实现快速推理。

YOLO 676

【caffe解读】 caffe从数学公式到代码实现1-导论

文章首发于微信公众号《与有三学AI》 [caffe解读] caffe从数学公式到代码实现1-导论 真的很多年没有认真写csdn博客了,我回来了 今天开一个新板块,目标是死磕现有的几大机器学习框架的代码,给想入门的小白们一些帮助。 作为一个在图像行业战斗了几年的程序员,深知入门一个框架,和真的能用好一个框架是有很大的区别的,而要想走的更远,开源框架的底层代码一定要去详读。 同时,很多的坑也...

hacker_long的专栏 900

QMK固件OLED显示屏配置教程:从零开始实现个性化键盘显示(实操部分)

本教程详细介绍了如何从零开始配置QMK固件的OLED显示屏,实现个性化键盘显示。首先,文章解释了OLED显示屏的基本概念及其在键盘中的应用,并介绍了I2C和SPI两种通信方式。接着,教程逐步指导用户如何在QMK固件中启用OLED功能,包括在rules.mk中启用OLED、在halconf.h和mcuconf.h中配置I2C功能,以及在config.h中设置I2C和OLED参数。最后,教程展示了如何在keymap.c中编写代码,实现OLED显示内容,并提供了进阶定制功能,如显示当前层信息、按键状态和QMK L

Despacito0o的博客 583

caffe data层_【caffe教程1】 caffe代码导论

本文首发于公众号《有三AI》[caffe解读] caffe从数学公式到代码实现1-导论​mp.weixin.qq.com我这个系列caffe代码解读跟大部分人的思路不一样,一般读caffe代码思路是按照caffe的层级结构来,blob到layer到net各自分层来读,但我想提供一个另外的思路,从数学公式到代码实现。从每一个文件背后具体的数学含义来读,这对于我们非数学系或者数学基础不是很好的工程人员...

weixin_29290963的博客 240

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

【caffe解读】 caffe从数学公式到代码实现4-认识caffe自带的7大loss

文章首发于微信公众号《与有三学AI》 [caffe解读] caffe从数学公式到代码实现4-认识caffe自带的7大lossz 本节说caffe中常见loss的推导,具体包含下面的cpp。 multinomial_logistic_loss_layer.cpp softmax_loss_layer.cpp euclidean_loss_layer.cpp sigmoid_cross_entr...

hacker_long的专栏 825

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

【caffe解读】 caffe从数学公式到代码实现5-caffe中的卷积

文章首发于微信公众号《与有三学AI》 [caffe解读] caffe从数学公式到代码实现5-caffe中的卷积 今天要讲的就是跟卷积相关的一些layer了 im2col_layer.cpp base_conv_layer.cpp conv_layer.cpp deconv_layer.cpp inner_product_layer.cpp 01 im2col_layer.c...

hacker_long的专栏 640

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

【caffe解读】 caffe从数学公式到代码实现3-shape相关类

文章首发于微信公众号《与有三学AI》 [caffe解读] caffe从数学公式到代码实现3-shape相关类 接着上一篇说,本篇开始读layers下面的一些与blobshape有关的layer,比如flatten_layer.cpp等,具体包括的在下面; flatten_layer.cpp slice_layer.cpp split_layer.cpp tile_layer.cpp con...

hacker_long的专栏 884

[caffe解读] caffe从数学公式到代码实现5-caffe中的卷积

今天要讲的就是跟卷积相关的一些layer了im2col_layer.cppbase_conv_layer.cppconv_layer.cppdeconv_layer.cp...

hacker_long的专栏 516

[caffe解读] caffe从数学公式到代码实现2-基础函数类

接着上一篇,本篇就开始读layers下面的cpp,先看一下layers下面都有哪些cpp。absval_layer.cpp其中,下面这些layer是不需要反向传播的,大部...

hacker_long的专栏 473

[caffe解读] caffe从数学公式到代码实现3-shape相关类

接着上一篇说,本篇开始读layers下面的一些与blob shape有关的layer,比如flatten_layer.cpp等,具体包括的在下面;flatten_laye...

hacker_long的专栏 470

[caffe解读] caffe从数学公式到代码实现4-认识caffe自带的7大loss

本节说caffe中常见loss的推导,具体包含下面的cpp。multinomial_logistic_loss_layer.cpp01multinomial_logist...

hacker_long的专栏 513

Caffe源码解读:BatchNormLayer原理

template void BatchNormLayer::LayerSetUp(const vector*>& bottom, const vector*>& top) { //获取BatchNormParameter参数列表 BatchNormParameter param = this->layer_param_.batch_norm_param(); //得到m

zyf19930610的专栏 808

caffe不支持relu6_【caffe教程2】caffe中的基础函数

本文首发于公众号《有三AI》[caffe解读] caffe从数学公式到代码实现2-基础函数类​mp.weixin.qq.com接着上一篇,本篇就开始读layers下面的cpp,先看一下layers下面都有哪些cpp。absval_layer.cpp accuracy_layer.cpp argmax_layer.cpp base_conv_layer.cpp base_data_layer.cpp...

weixin_39755952的博客 191

caffe data层_【caffe教程3】caffe中的数据shape相关类

本文首发于公众号《有三AI》[caffe解读] caffe从数学公式到代码实现3-shape相关类​mp.weixin.qq.com接着上一篇说,本篇开始读layers下面的一些与blob shape有关的layer,比如flatten_layer.cpp等,具体包括的在下面;flatten_layer.cpp slice_layer.cpp split_layer.cpp tile_layer....

weixin_42157166的博客 254

caffe源码解读(2)-center_loss_layer.cpp

center_loss公式定义 center_loss_layer.cpp源码解读 center loss,softmax loss在mnist数据集上的对比实验 定义 “Center Loss: simultaneously learning a center for deep features of each class and penalizing the distances

冬后晚晴的博客 943

c++调用caffe ssd_【caffe教程5】caffe中的卷积

本文首发于公众号《有三AI》[caffe解读] caffe从数学公式到代码实现5-caffe中的卷积​mp.weixin.qq.com今天要讲的就是跟卷积相关的一些layer了im2col_layer.cppbase_conv_layer.cppconv_layer.cppdeconv_layer.cppinner_product_layer.cpp1 im2col_layer.cpp这是caff...

weixin_34800976的博客 259
上一篇: 如何步入深度学习刷榜第一重境界
下一篇: [caffe解读] caffe从数学公式到代码实现2-基础函数类
言有三
言有三 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄15年 3636粉丝 976原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值