bbbeoy的专栏

https://ckyrkou.medium.com/changing-input-size-of-pre-trained-models-in-keras-3dfbe3ca3091

Linear Scale Rule:

https://medium.com/dive-into-ml-ai/using-kerass-model-fit-to-train-a-gan-model-a0f02ed6d39eIn this article, I present three different methods for training a Discriminator-generator (GAN) model using keras(v2.4.3)on a tensorflow(v2.2.0)backend. The...

https://machinelearningmastery.com/learning-curves-for-diagnosing-machine-learning-model-performance/

前言在关于训练神经网路的诸多技巧Tricks(完全总结版)这篇文章中，我们大概描述了大部分所有可能在训练神经网络中使用的技巧，这对如何提升神经网络的准确度是很有效的。然而在实际中，在方法几乎定型的时候，我们往往需要针对自己的任务和自己设计的神经网络进行debug才能达到不错的效果，这也就是一个不断调试不断改进的一个过程。(炼金何尝不是呢？各种配方温度时间等等的调整)那么到底如何去Debug呢？如何Debug以下的内容部分来自CS231n课程，以及汇总了自己在训练神经网络中遇到的很多

转自：https://zhuanlan.zhihu.com/p/56745640本期问题能否聊一聊深度学习中的调参技巧？我们主要从以下几个方面来讲.1. 深度学习中有哪些参数需要调？2. 深度学习在什么时候需要动用调参技巧？又如何调参？3. 训练网络的一般过程是什么？1. 深度学习有哪些需要们关注的参数呢？大家记住一点：需要用到调参技巧的参数都是超参数！！因此，这个问题还可以换成更专业一点：神经网络中有哪些超参数？主要从两个方面来看：和网络设计相关的参数：神经网络的.

1. 在训练的过程中应用了正则化，但是在对验证集计算损失的时候没有采用正则化。比如在损失函数中加入了L1，L2等正则项，或者dropout。正则化会牺牲训练精度，但是可以通过提高验证集和测试集的精度防止过拟合。如果在验证集中也加入正则项，那么会改善验证集损失小于训练集损失这种情况。2. 在计算训练集的损失时，它是边训练边计算的，不是等训练完一轮（epoch）后再计算总的训练集损失的。实际上，我们的数据是一个batch一个batch的输入到模型中训练的。在一轮训练中，每训练完一个batch就计算一下该ba

https://zhuanlan.zhihu.com/p/129912419算法分类 Parameter Server Ring All-reduce Ring All-Reduce Naive Approach Ring All-Reduce (Efficient Approach) 更新方式分类 同步式类型 异步式类型 并行方式分类 数据并行 模型并行(model parallel) 模型和数据并行 Tensorflow

https://blog.youkuaiyun.com/m0_38008956/article/details/86559432

【分布式训练】单机多卡的正确打开方式（一）：理论基础https://zhuanlan.zhihu.com/p/72939003【分布式训练】单机多卡的正确打开方式（二）：TensorFlowhttps://zhuanlan.zhihu.com/p/73580663【分布式训练】单机多卡的正确打开方式（三）：PyTorchhttps://zhuanlan.zhihu.com/p/74792767【分布式训练】单机多卡的正确打开方式（四）：Horovodhttps://zhuanla

Take-Away笔者使用 PyTorch 编写了不同加速库在 ImageNet 上的使用示例（单机多卡），需要的同学可以当作 quickstart 将需要的部分 copy 到自己的项目中（Github 请点击下面链接）：nn.DataParallel简单方便的 nn.DataParallel2.torch.distributed使用 torch.distributed 加速并行训练3.torch.multiprocessing使用 torch.multiprocessing 取代启动...

The Communication Problem当将神经网络的训练并行化到许多GPU上时，你必须选择如何将不同的操作分配到你可用的不同GPU上。在这里，我们关注一种称为数据并行随机梯度下降( SGD )的技术。与标准SGD一样，梯度下降是通过数据子集(小批次)完成的，需要多次迭代才能在整个数据集上进行。然而，在数据并行训练中，每个GPU都有整个神经网络模型的完整副本，对于每次迭代，只分配了小批次中样本的子集。对于每次迭代，每个GPU在其数据上运行网络的前向传播，随后进行误差反向传播，以计算损耗相对于网

https://www.jianshu.com/p/bb28669018b3前言在数据越来越多的时代，随着模型规模参数的增多，以及数据量的不断提升，使用多GPU去训练是不可避免的事情。Pytorch在0.4.0及以后的版本中已经提供了多GPU训练的方式，本文简单讲解下使用Pytorch多GPU训练的方式以及一些注意的地方。这里我们谈论的是单主机多GPUs训练，与分布式训练不同，我们采用的主要Pytorch功能函数为DataParallel而不是DistributedParallel，后者为多主机