图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖

转载 飞桨PaddlePaddle 飞桨(PaddlePaddle)核心框架Paddle Fluid v1.5已经发布，而作为其关键工具，用来迁移学习的PaddleHub也进行了全面更新，正式发布了1.0版本。 全新的PaddleHub模型和任务更加丰富，为用户提供了覆盖文本、图像和视频三大领域八大任务的40+预训练模型，同时还在飞桨官网上开辟了PaddleHub的网页。 本文将对PaddleHub及其更新做更

转载在深度学习这一领域经常涉及到模型的**分布式**训练（**包括一机多GPU的情况**）。我自己在刚刚接触到一机多卡，或者分布式训练时曾对其中到底发生了什么有过很多疑问，后来查看了很多资料，在这篇博客里对分布式的深度学习模型训练做一个总结。由于是我自己的总结，所以如果有说的不对的地方，还望指正。当然我的总结也是基于一些文献参考来的，所以如有雷同，纯属我借鉴别的大神的文章。如果去查阅与分布式深度学习相关的资料，一般会看到两个词，模型并行和数据并行。模型并行是指把模型的不同部分放置在各个设备上，这样

转载 weixin_34384557可参考 无止境x 数据不够怎么训练深度学习模型？不妨试试迁移学习 本质就是这个图！pretrained model就是你截取的部分神经网络模型（迁移学习），而nanonet就是你自己加入的网络层。 随着深度学习技术在机器翻译、策略游戏和自动驾驶等领域的广泛应用和流行，阻碍该技术进一步推广的一个普遍性难题也日渐凸显：训练模型所必须的

转载https://blog.youkuaiyun.com/qq_28626909/article/details/85003392还可参考https://www.dazhuanlan.com/2019/12/24/5e022023d8081/https://www.javaroad.cn/questions/148517https://www.jianshu.com/p/7fddb580ab65

转载https://blog.youkuaiyun.com/weixin_44388679/article/details/106564349重点参考https://www.sohu.com/a/340384890_120053730https://www.sohu.com/a/198655698_465975

转载https://blog.youkuaiyun.com/u011334375/article/details/88947723目标：学到新数据特征的同时，保持旧网络固有的性能，避免“灾难性遗忘”，增量学习，迁移学习的一种。Transferability（1）仅微调最后一层（也称为特征提取）（ft-last）; （2）微调 N 的所有层（ft-full）; （3）与ft-full相同，但冻结批处理标准化层的参数 - 在某些情况下，这已被证明是有益的 - 我们将此选项称为ft-full-bn-off。图3中.