通过深度学习lstm 对多个学习集样本训练时,总是最后一个样本的loss太大
样本是9个时,如图1所示,第9个的loss从开始就比别的样本loss大,但是样本的数据流特征差不多。据

把学习集样本减少掉最后一个,结果第8个样本的loss太大了。

具体原因未知,只能在程序里面将样本设为10个,当执行到第10个时,跳出循环。loss输出比较正常。
for j in range(10):
if j == train_end:
break

有没有大佬能够指点以下为什么会这样,我用的是LSTM,hidden=1,学习率=0.01,输入数据是5*3,输出是5*1的维度,由于更好的修改办法。

在使用LSTM进行深度学习训练时,遇到一个奇怪的现象:最后一个样本的loss值显著高于其他样本,即使数据流特征相近。尝试减少样本数量,发现前一个样本会接替出现高loss的情况。通过调整代码,将样本数设定为10,并在执行到第10个样本时跳出循环,loss输出恢复正常。问题的具体原因尚不清楚,可能涉及到学习率、模型结构或数据预处理等因素。
36万+

被折叠的 条评论
为什么被折叠?



