
Deep Learning System Building
文章平均质量分 95
The learning on how to build a deep learning system
FesianXu
腾讯-微信事业群-高级算法工程师, 百度-搜索策略部-前高级算法工程师。 主要从事多模态检索、视频检索、信息检索,大模型落地应用等领域工作。
展开
-
【Debug危机系列】Embedding层的千层套路
Embedding层也没那么简单喔原创 2022-09-17 01:21:29 · 1476 阅读 · 0 评论 -
万字长文详解静态图和动态图中的自动求导机制
万字长文详解静态图和动态图中的自动求导机制原创 2022-09-11 10:09:07 · 786 阅读 · 0 评论 -
集群深度学习训练实践笔记——高性能分布式多任务数据读取
高性能的分布式多任务数据读取方式原创 2022-04-07 21:22:03 · 661 阅读 · 0 评论 -
集群深度学习训练实践笔记——多进程Dataset设计
集群深度学习训练实践笔记——多进程Dataset设计 FesianXu 20211105 at Baidu Search Team前言之前在[1]中曾经讨论过在集群中分布式训练大型模型需要一些特别的分布式数据加载器设计,文章最后还讨论了由于分布式多机多卡训练过程中,某个trainer由于数据读取,将会导致其他所有trainer阻塞等待,造成了很大的计算资源浪费的情况。本文针对这种情况,提出一种基于多进程的解法。如有谬误请联系指出,本文遵循 CC 4.0 BY-SA 版权协议,转载请附上原...原创 2021-11-05 22:40:15 · 565 阅读 · 0 评论 -
集群深度学习训练实践笔记——分布式数据读取器
集群深度学习训练实践笔记——分布式数据读取器 FesianXu 20211104 at Baidu Search Team前言本文主要作为笔者在分布式集群中训练深度学习模型,特别是一些大规模模型和在海量数据下的训练的经验,本文实践以paddle 2.1为例,包括paddle 动态图和静态图的使用等。如有谬误请联系指出,本文遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明并且联系笔者,谢谢。∇\nabla∇ 联系方式:e-mail: FesianXu@gmail...原创 2021-11-04 17:21:40 · 1540 阅读 · 0 评论 -
[darknet源码系列-2] darknet源码中的cfg解析
[darknet源码系列-2] darknet源码中的cfg解析 FesianXu 20201118 at UESTC前言笔者在[1]一文中简单介绍了在darknet中常见的数据结构,本文继续上文的节奏,介绍如何从cfg文本文件中解析出整个网络的结构与参数。如有谬误请联系指出,本文遵守 CC 4.0 BY-SA 版权协议,转载请联系作者并注明出处,谢谢。∇\nabla∇ 联系方式:e-mail: FesianXu@gmail.comQQ: 973926198github:...原创 2020-11-20 20:30:53 · 1069 阅读 · 0 评论 -
数据并行和模型并行的区别
此文翻译自[1],[1]对数据并行和模型并行进行了很好地区分,因此这里推荐给大家。介绍现在深度学习模型的参数量已经变得越来越多了,数据集的尺寸也随之疯狂地增长。为了在一个巨大的数据集上训练一个复杂的深度学习模型,我们不得不使用多节点的并行方式,否则我们永远不可能达到这个目的。这里谈到的并行,通常指的有两种,或者它们各自的混合:数据并行 (Data Parallel)模型并行 (Mode...翻译 2020-04-28 13:15:04 · 3289 阅读 · 1 评论 -
Conv卷积层的反向求导细节
《土豆笔记之反向求导细节系列》Conv卷积层的反向求导细节前言这个系列主要是对深度学习中常见的各种层的反向求导细节进行学习和介绍,并且辅以代码予以理解,本章介绍的是卷积层,考虑到不同通道之间的转换并且不同的stride,padding等,卷积层的反向求导研究起来也是颇有意思的。如有谬误请联系指出,谢谢。联系方式:e-mail: FesianXu@gmail.comQQ: 97...原创 2019-12-03 10:52:30 · 2433 阅读 · 2 评论 -
《AutoDiff理解》 之第一篇, 自动求导技术在深度学习中的应用
文章目录前言什么是自动求导自动求导的实现方式关于计算图Reference前言自动求导技术(AutoDiff) [1] 是在诸多领域有着广泛应用的技术,特别是在深度学习中,其参数更新大多数依赖于梯度的传递,对于自动求导的使用就更加的频繁了。本系列文章将会基于代码[2]去介绍如何基于计算图的方式去反向自动求导,并且通过value feed的方式去lazy run整个计算图和反向梯度计算图,希望能给...原创 2019-03-14 23:16:04 · 2370 阅读 · 0 评论