回归任务中神经网络训练loss为nan

本文探讨了在数学建模比赛中使用三层全连接神经网络进行回归任务时,遇到loss从首个epoch即为nan的困境。通过分析,发现未对目标变量Y进行标准化处理是主要原因之一,同时数据未能正确输入网络也可能导致此问题。解决方案是对Y进行标准化,并确保数据正确输入。
部署运行你感兴趣的模型镜像

问题

我最近参加数学建模比赛,写了一个三层的全连接神经网络,用于回归任务,但是喂入数据后发现loss从第一个epoch就是nan,训练无法进行。

解决方法

只对样本X进行了标准化,而Y没进行标准化。从而导致整体的loss极大,最终成为nan。因此只需要对Y也进行相同的标准化。

之前还遇到过一次,是由于数据根本没能喂入网络造成,也是原因之一。

您可能感兴趣的与本文相关的镜像

GPT-oss:20b

GPT-oss:20b

图文对话
Gpt-oss

GPT OSS 是OpenAI 推出的重量级开放模型,面向强推理、智能体任务以及多样化开发场景

评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值