model.fit_generator

深度学习训练与验证：自定义生成器与回调函数实践

最新推荐文章于 2023-09-21 22:20:24 发布

原创最新推荐文章于 2023-09-21 22:20:24 发布 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习

深度学习专栏收录该内容

4 篇文章

订阅专栏

本文介绍如何使用自定义生成器（generator）在Keras中进行模型训练，通过`fit_generator`函数实现数据集分批处理，并结合验证数据集(valuation_data)和回调函数(callbacks)进行模型优化。重点展示了`generator`和`val()`函数的实现以及`endEpochHookCB`, `reduce_lr`, 和 `early_stopping`回调的使用。

def generator():
while 1:
global cnt
cnt += 1
print("cnt: ",cnt)
x = X_train[(cnt-1)*batch_size:(cnt)*batch_size,:]
y = Y_train[(cnt-1)*batch_size:(cnt)*batch_size,:]
yield x,y

def val():
while 1:
global cnt1
cnt1 += 1
print("\n cnt1 :",cnt1)
x = X_test[(cnt1-1)*6:(cnt1)*6,:]
y = Y_test[(cnt1-1)*6:(cnt1)*6,:]
yield X_test,Y_test

model.fit_generator(generator(),epochs=1000,
steps_per_epoch=1,#len(x_train)//(batch_size),
validation_data=val(),#(X_test,Y_test),#validation_split=0.1,
validation_steps = 1,
callbacks = [ endEpochHookCB ,reduce_lr, early_stopping])