机器学习杂货铺1号店

[darknet源码系列-3] 在darknet中，如何根据解析出来的配置进行网络层构建 FesianXu 20201120 at UESTC前言笔者在[1,2]中已经对darknet如何进行配置解析进行了讲解，现在我们需要将解析出来的配置进行对应的网络层构建。如有谬误请联系指出，本文遵守 CC 4.0 BY-SA 版权协议，转载请联系作者并注明出处，谢谢。∇\nabla∇ 联系方式：e-mail: FesianXu@gmail.comQQ: 973926198githu...

[卷积算子加速] im2col优化 FesianXu 20201121 at UESTC前言在深度学习模型中，卷积是非常重要的工具，然而卷积的计算复杂度很高，因此需要对此进行特定的优化，im2col与winograd [5]，fourier [4]是非常常见的优化方法，本文介绍基于im2col的优化方法。如有谬误请联系指出，本文遵守 CC 4.0 BY-SA 版权协议，转载请联系作者并注明出处，谢谢。∇\nabla∇ 联系方式：e-mail: FesianXu@gmail....

[darknet源码系列-1] darknet源码中的常见数据结构 FesianXu 20201117 at UESTC前言最近笔者在好奇如何从最底层开始搭建一个深度学习系统，之前都是采用现成的成熟深度学习框架，比如PyTorch，TensorFlow等进行模型的搭建，对底层原理了解不是特别深刻。因此笔者最近在阅读darknet的源码，希望能从中学习到一些底层的知识，本文主要是对darknet中常见的数据结构进行记录和分析。如有谬误请联系指出，转载请联系作者并注明出处，谢谢。∇...

文章目录前言什么是自动求导自动求导的实现方式关于计算图Reference前言自动求导技术(AutoDiff) [1] 是在诸多领域有着广泛应用的技术，特别是在深度学习中，其参数更新大多数依赖于梯度的传递，对于自动求导的使用就更加的频繁了。本系列文章将会基于代码[2]去介绍如何基于计算图的方式去反向自动求导，并且通过value feed的方式去lazy run整个计算图和反向梯度计算图，希望能给...

《土豆笔记之反向求导细节系列》Pooling池化层的反向求导细节前言这个系列主要是对深度学习中常见的各种层的反向求导细节进行学习和介绍，并且辅以代码予以理解，本章介绍的是池化层，包括有max_pooling和avg_pooling，考虑到其stride的变化，其反向求导的细节也颇具有价值进行深究。如有谬误请联系指出，谢谢。联系方式：e-mail: FesianXu@gmail....