深度学习入门4——神经网络中的损失函数

神经网络的可学习性指从训练数据中自动获取最优权重参数的性质。而使得神经网络可以学习,就少不了损失函数。神经网络学习的过程可以看作是最小化损失函数的输出值的过程。换句话说,找到了最小的损失函数值,我们也就找到了一组最优的权重参数。神经网络的学习中所用的指标称为损失函数(loss function)。这个损失函数可以使用任意函数,但一般用均方误差MSE(mean squared error)和交叉熵误差(cross entropy error)等。

对于实现手写数字5识别,直接想出可以识别手写数字5的专用算法很难。如果利用机器学习技术学习数字5图像的特征量,使用人为设计的特征量(SIFT、HOG)将图像数据转换为向量,然后对其使用SVM(支持向量机)或者KNN(k近邻算法)等分类器进行学习,不失为一种方法。第三种方法是利用深度学习技术,由神经网络从收集的数据中学习,找到规律。以上三种方法的人为介入是逐渐减少的(灰色代表人未介入)。

神经网络的优点是对所有的问题都可以用同样的流程来解决。无论是识别5,还是猫或人脸,其都可以通过学习所提供的数据,尝试发现待解决问题的模式。因此,神经网络解决问题与待处理的问题无关,可以将数据直接作为原始数据,进行“端对端”的学习。

在机器学习中,一般将数据分为训练数据和测试数据两部分来进行学习和实验。使用训练数据进行学习,寻找最优的参数。然后,使用测试数据评价训练得到的模型的实际能力,目的是展现模型的泛化能力过拟合(over fitting)指的是一个模型在训练数据上表现得异常好,但在新的、未见过的数据上表现得非常差,即模型对训练数据的学习过于精确,以至于不能很好地泛化到其他数据上的情况。

1.损失函数

1.1均方误差

均方误差是最有名的损失函数,其定义如下:

yk表示神经网络的输出,tk为监督数据,k代表数据的维度。

以手写数字识别为例:

y= [0.1, 0.05, 0.6, 0.0, 0.05, 0.1, 0.0, 0.1, 0.0, 0.0]

t = [0, 0, 1, 0, 0, 0, 0, 0, 0, 0]

y中十个数字依次代表神经网络输出该张图片中手写数字为0~9的概率,其中索引为2的概率最大,为0.6。而监督数据t中索引为2的位置为1,表示正确解为“2”,将正确解标签表示为1,其他标签表示为0的表示方法称为one-hot表示,也称独热编码

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值