Tensorflow框架训练模型之数据不足的处理(一)

最新推荐文章于 2024-12-08 00:04:16 发布

Peter清风

最新推荐文章于 2024-12-08 00:04:16 发布

阅读量1.7k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：深度学习 Tensorflow

本文链接：https://blog.youkuaiyun.com/qq_34783311/article/details/89429143

Tensorflow 同时被 2 个专栏收录

14 篇文章

订阅专栏

深度学习

8 篇文章

订阅专栏

本文探讨了在训练深度模型时，如何处理不足一个batch_size大小的最后一批数据。介绍了三种常见方法：补充数据、设置batch_size为None以及丢弃不足部分。提供了使用TensorFlow实现丢弃不足batch_size数据的具体代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我们在训练深度模型时，常常会遇到这样的问题，那就是最后一批数据不够一个batch_size的时候，应该怎么做？

有的大佬说，可以对最后一批数据进行补充，让其满足一个batch_size大小；
有的人说不设置batch_size的值，设为None;

我想到的方法是：丢弃不足一个batch_size大小的数据，具体做法如下：

假设dataset是我们的数据集
//可以利用tensorflow提供的函数进行操作
dataset=dataset.apply(tf.contrib.data.batch_and_drop_remainder(batch_size)   #核心代码
iterator=dataset.make_initalizable_iterator()
next_elm=iterator.get_next()
.....