keras数据输入非常大怎么办?分批次?

在模型落地过程中,作者遇到了大数据输入的问题。针对Keras,介绍了如何利用DataGenerator和fit_generator来分批次处理内存占用高达30多个G的数据。通过修改模型,采用tf.keras.Dense并理解相关图像处理示例,转化为适用于非图像数据的形式。同时,作者提供了QQ群号供讨论相关问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

哈喽。模型落地过程中遇到很多问题,我都要去经历、填坑。人生何处不是坑??

有坑才有坑!

如果tf可以分批次读入内存数据【比如tfrecords,这个我最不推荐了,麻烦;比如自己写个next,边读边训练】,那么keras同样也可以,比如DataGenerater和fit_generator,下面我就试试我占用内存30多个G的数据。

1-首先我先把模型修改好,能训练数据。

采用tf.keras中的Dense可以重新写一个dense,然后进行训练数据。

大佬说让我看这个链接,比较难搞啊,它这是图像中的,而我需要将它读懂,简化成返回X,y这种形式。

 

 

 

另外有相关问题可以加入QQ群讨论,不设微信群

QQ群:868373192 

语音深度学习及信号处理群

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小李飞刀李寻欢

您的欣赏将是我奋斗路上的动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值