深度学习
关注
分享
扫一扫
asd892776222
这个作者很懒，什么都没留下…
展开
-
Batch Size---深度学习---基础知识
Batch Size定义：一次训练所选取的样本数。Batch Size的大小影响模型的优化程度和速度。同时其直接影响到训练单元（如GPU）的内存的使用情况，假如你训练单元（如GPU）内存不大，该数值最好设置小一点。Batch Size设置合适时的优点：1、通过并行化提高内存的利用率。就是尽量让你的训练单元（如GPU）满载运行，提高训练速度。内存的利用率提高了，大矩阵乘法的并行化效率提...原创 2019-03-23 17:48:53 · 429 阅读 · 0 评论 -
深度学习基础-术语batch size、epoch、iteration
Batchsize（批尺寸）：每批数据量的大小。DL通常用SGD的优化算法进行训练，也就是一次（1 个iteration）一起训练batchsize个样本，计算它们的平均损失函数值，来更新参数。计算梯度所需的样本数量，太小会导致效率低下，无法收敛。太大会导致内存撑不住，Batch Size增大到一定程度后，其下降方向变化很小了，所以Batch Size是一个很重要的参数。iteration（...转载 2019-05-10 19:47:38 · 1091 阅读 · 0 评论