
Tensorflow
水果先生
Tencent AI
展开
-
Tensorflow 构建 TFrecords
构建数据集 TFrecords这时,我们需要构建 TFrecords。当数据量很大时,一般将数据定义为 TensorFlow 内定标准格式——TFRecords,TFRecords是一种将图像数据和标签放在一起的二进制文件,虽然它不如其他格式好理解,但是它能更好的利用内存,更方便复制和移动,并且不需要单独的标签文件TFRecords 文件中的数据都是通过 tf.train.Example Proto原创 2017-08-01 10:44:07 · 385 阅读 · 0 评论 -
TensorFlow和Keras解决数据量过大内存溢出
将上万张图片的路径一次性读到内存中,自己实现一个分批读取函数,在该函数中根据自己的内存情况设置读取图片,只把这一批图片读入内存中,然后交给模型,模型再对这一批图片进行分批训练,因为内存一般大于等于显存,所以内存的批次大小和显存的批次大小通常不相同。 Tensorlow 在input.py里写get_batch函数。 def get_batch(X_train, y_train, img_w, im...原创 2018-11-01 10:23:42 · 5198 阅读 · 3 评论