经典损失函数一览

机器学习总结(三)——损失函数 经典机器学习算法,他们最本质的区别是分类思想(预测y的表达式)不同,有的是基于概率模型,有的是动态规划,表象的区别就是最后的损失函数不同。 损失函数分为经验风险损失函数和结构风险损失函数,经验风险损失函数反映的是预测结果和实际结果之间的差别,结构风险损失函数则是经验风险损失函数加上正则项(L0、L1(Lasso)、L2(Ridge))。 不同的算法常用的损失函数(Loss Function)有... 阅读详情

损失函数(Loss Function)用来估量模型的预测值 y ^ = f ( x ) \hat y = f(x) y^​=f(x) 与真实值 y y y 的不一致程度。这里做一个简单梳理,以备忘,原文见损失函数清单。

回归问题

常见的回归问题损失函数有绝对值损失、平方损失、Huber损失。

绝对值损失

又叫做L1损失。

L ( y , y ^ ) = ∣ y − y ^ ∣ L(y, \hat y) = |y - \hat y| L(y,y^​)=∣y−y^​∣

M A E = 1 n ∑ i = 1 n ∣ y − y ^ ∣ MAE = \frac{1}{n} \sum_{i=1}^{n} |y - \hat y| MAE=n1​i=1∑n​∣y−y^​∣

MAE一个问题是在 y − y ^ = 0 y - \hat y=0 y−y^​=0 处不可导,优化比较困难。

平方损失

又称为L2损失。

L ( y , y ^ ) = ( y − y ^ ) 2 L(y, \hat y) = (y - \hat y)^2 L(y,y^​)=(y−y^​)2

M S E = 1 n ∑ i = 1 n ( y ^ − y ) 2 MSE = \frac{1}{n} \sum_{i=1}^{n}(\hat y - y)^2 MSE=n1​i=1∑n​(y^​−y)2

MSE一个问题是对异常点敏感,由于平方的存在,会放大对异常点的关注。

Huber损失

相当于是L1和L2损失的一个结合。

L δ ( y , y ^ ) = { 1 2 ( y − y ^ ) 2 , f o r ∣ y − y ^ ∣ ≤ δ δ ∣ y − y ^ ∣ − 1 2 δ 2 , o t h e r w i s e L_{\delta}(y, \hat y) = \begin{cases} \frac{1}{2}(y - \hat y)^2, && for |y - \hat y| \le \delta \\ \delta |y - \hat y| - \frac{1}{2} \delta ^2, && otherwise \end{cases} Lδ​(y,y^​)={21​(y−y^​)2,δ∣y−y^​∣−21​δ2,​​for∣y−y^​∣≤δotherwise​

Huber损失是对上述两者的综合,当 ∣ y − y ^ ∣ \mid y-\hat y\mid ∣y−y^​∣小于指定的值 δ \delta δ 时,变为平方损失,大于 δ \delta δ 时,则变成类似于绝对值损失。即避免了在 ∣ y − y ^ ∣ \mid y-\hat y\mid ∣y−y^​∣在0处不可导问题,也解决了其值过大对异常值敏感的问题。值得注意的是,该函数在 δ \delta δ处连续。

三种Loss随残差 ∣ y − y ^ ∣ \mid y-\hat y\mid ∣y−y^​∣的大致走势如下图。

algo-huber-loss

分类问题

一般来说,二分类机器学习模型输出有两个部分:线性输出 s s s和非线性输出 g ( s ) g(s) g(s)。其中,线性输出score一般是

s = w T x s = w^Tx s=wTx

非线性输出常见的如sigmoid:

g ( s ) = 1 1 + e − s g(s) = \frac{1}{1 + e^{-s}} g(s)=1+e−s1​

对应label y y y一般两种表示方式, { + 1 , − 1 } \{+1, -1\} {+1,−1}或 { 1 , 0 } \{1, 0\} {1,0}表示正负类。其中用 { + 1 , − 1 } \{+1, -1\} {+1,−1}表示正类有个好处,就是从 y s ys ys可以看出是否是误分类。

  • 若 y s ≥ 0 ys \ge 0 ys≥0,则预测正确
  • 若 y s &lt; 0 ys \lt 0 ys<0,则预测错误

这样, y s ys ys和回归模型中残差 s − y s - y s−y非常类似,以 y s ys ys为自变量作图,方便理解。

0-1 Loss

0-1 Loss很直观,如果误分类则误差为1,否则为0。

L ( y , s ) = { 0 , y s ≥ 0 1 , y s &lt; 0 L(y, s) = \begin{cases} 0, &amp;&amp; ys \ge 0\\ 1, &amp;&amp; ys \lt 0 \end{cases} L(y,s)={0,1,​​ys≥0ys<0​

有两个明显的问题

  • 0-1 Loss对每个误分类点惩罚相同,即使错的比较离谱(ys远小于0)
  • 0-1 Loss不连续、非凸、不可导,梯度优化算法不适用

所以实际模型中0-1 Loss用的很少,后续介绍的误差,多数可看做0-1 Loss的一个上界。

Cross Entropy Loss

Cross Entropy Loss是非常重要的损失函数,也是应用最多的分类损失函数之一。根据label的表示方式,一般有两种常见形式。

如果label表示为 { 1 , 0 } \{1, 0\} {1,0},形式如下:

L ( y , y ^ ) = − [ y l o g ( y ^ ) + ( 1 − y ) l o g ( 1 − y ^ ) ] L(y, \hat y) = -[ylog(\hat y) + (1 - y)log(1 - \hat y)] L(y,y^​)=−[ylog(y^​)+(1−y)log(1−y^​)]

简单看其来由。模型输出预测类别的概率

p = { p ( y = 1 ∣ x ) = y ^ p ( y = 0 ∣ x ) = 1 − y ^ p = \begin{cases} p(y = 1|x) = \hat y \\ p(y = 0|x) = 1 - \hat y \end{cases} p={p(y=1∣x)=y^​p(y=0∣x)=1−y^​​

以上可整合到一个公式中

p ( y ∣ x ) = y ^ y ( 1 − y ^ ) ( 1 − y ) p(y|x) = \hat y^y(1 - \hat y)^{(1 - y)} p(y∣x)=y^​y(1−y^​)(1−y)

根据极大似然估计原理,我们希望p越大越好,为了方便计算,同时引入负对数(不影响单调性)。

L ( y , y ^ ) = − l o g ( p ( y ∣ x ) ) = − [ y l o g ( y ^ ) + ( 1 − y ) l o g ( 1 − y ^ ) ] L(y, \hat y) = -log(p(y|x)) = -[ylog(\hat y) + (1 - y)log(1 - \hat y)] L(y,y^​)=−log(p(y∣x))=−[ylog(y^​)+(1−y)log(1−y^​)]

其中

y ^ = 1 1 + e − s \hat y = \frac {1}{1 + e^{-s}} y^​=1+e−s1​

代入可得出

$$
L(y, \hat y) = \begin{cases}

  • log(\hat y) = log(1 + e^{-s}) && y = 1 \
  • log(1 - \hat y) = log(1 + e^s) && y = 0
    \end{cases}
    $$

当y=1时,s越大loss越小;当y=0时,s越小loss越小,make sense。

如果label表示为 { + 1 , − 1 } \{+1, -1\} {+1,−1},形式如下:

L ( y , y ^ ) = l o g ( 1 + e − y s ) L(y, \hat y) = log(1 + e^{-ys}) L(y,y^​)=log(1+e−ys)

其实上述式子完全等价,只不过将y=1或y=0两种情况整合到一起。ys的符号反映预测准确性,其数值大小反映预测置信度。

交叉熵损失在实数域内,Loss近似线性变化。尤其是当 ys << 0 的时候,Loss 更近似线性。这样,模型受异常点的干扰就较小。 而且交叉熵 Loss 连续可导,便于求导计算,应用比较广泛。

Hinge Loss

The hinge loss is used for maximum-margin classification, most notably for support vector machines (SVMs).

L ( y , s ) = m a x ( 0 , 1 − y s ) L(y, s) = max(0, 1 - ys) L(y,s)=max(0,1−ys)

Hinge Loss名字很象形,其形状类似合页。一般用于SVM中,体现SVM距离最大化思想。当Loss大于0时,是线性函数,可以用梯度优化算法。此外 y s &gt; 1 ys &gt; 1 ys>1损失皆为0,可以带来稀疏解,使得SVM仅通过少量支持向量就能确定最终超平面。

algo-hinge-loss

Exponential Loss

指数损失,多用于AdaBoost中,其它算法中用的较少。

L ( y , s ) = e − y s L(y, s) = e^{-ys} L(y,s)=e−ys

Modified Huber Loss

Huber Loss整合MAE和MSE的优点,稍作改进,同样可用于分类问题,称为Modified Huber Loss。

L ( y , s ) = { m a x ( 0 , 1 − y s ) 2 , y s ≥ − 1 − 4 y s , y s &lt; − 1 L(y, s) = \begin {cases} max(0, 1 - ys)^2, &amp;&amp; ys \ge -1 \\ -4ys, &amp;&amp; ys \lt -1 \end{cases} L(y,s)={max(0,1−ys)2,−4ys,​​ys≥−1ys<−1​

该函数分三段

  • [ − I n f , − 1 ] [-Inf, -1] [−Inf,−1]线性
  • [ − 1 , 1 ] [-1, 1] [−1,1]二次
  • [ 1 , I n f ] [1, Inf] [1,Inf]常数0
分类问题损失函数对比

对比不同损失函数随ys的变化趋势。有一点值得注意,就是各个损失函数在 y s ys ys很小时,损失一般不超过线性(指数损失除外),否则对异常值太敏感。

algo-loss-function-1

algo-loss-function-2

损失函数(Loss Function)一文详解-回归问题常见损失函数Python代码实现+计算原理解析 损失函数无疑是机器学习和深度学习效果验证的核心检验功能,用于评估模型预测值与实际值之间的差异。我们学习机器学习和深度学习或多或少都接触到了损失函数,但是我们缺少细致的对损失函数进行分类,或者系统的学习损失函数在不同的算法和任务中的不同的应用。因此有必要对整个损失函数体系有个比较全面的认识,方便以后我们遇到各类功能不同的损失函数有个清楚的认知,而且一般面试以及论文写作基本都会对这方面的知识涉及的非常深入。故本篇文章将结合实际Python代码实现损失函数功能,以及对整个损失函数体系进行深入了解。 阅读详情

相关推荐

瑞萨 RL78 开发环境实战:从 CS+ for CC 到 e² studio 高效开发

本文详细介绍了瑞萨RL78单片机开发环境的选择与配置,对比分析了CS+ for CC和e² studio的特点及适用场景。内容涵盖环境安装、工程创建、调试技巧、外设驱动开发和低功耗设计等实战经验,为开发者提供全面的RL78入门指南,帮助快速上手并高效开发。

4k5l6j7h8的博客 249

统计

样本 总体 sample population sample足够大,代表整体 sample次数足够多,代表 均值 期望 对应 加权平均 mean , averrage 平均值,算术平均 sample 代表 整体的可信度,引入置信度 dispersion 离中趋势, 方差 sample 取样数量多 ,接近于整体,趋向于中心轴 样本离散在概率预测中代表什么 概率预测在不同样本中 起伏大,说明不稳定,方差大,说明置信度低 标准差,方差在概率预测中, 误差和标准差的关系?...

一介北漂 732

告别手动点鼠标:用Python脚本批量跑ADS版图仿真,效率提升10倍(附完整代码)

本文详细介绍了如何利用Python脚本自动化ADS版图仿真流程,显著提升射频工程师的工作效率。通过调用ADS底层接口,实现参数化修改、批量任务调度和结果自动收集,解决了手动操作中的常见问题,如仿真不更新等。附完整代码,帮助开发者快速实现10倍效率提升。

weixin_42523543的博客 335

【损失函数】深度学习回归任务中你必须了解的三种损失函数,绝对误差损失(L1 Loss、MAE)均方误差损失(L2 Loss、MSE)以及平滑L1损失(Huber Loss)(2024最新整理)

是预测值和真实值之差的绝对值的总和。其中,是样本数量,是第个样本的真实值,是第个样本的预测值。

Next_SummerAgain的博客 1万+

【Cadence】Virtuoso@LayoutXL 差分电路版图同步修改

对于差分电路,器件和部分走线通常是对称的,只需要画一半,另一半通过镜像操作完成。因此,需要对差分电路进行同步的修改,保证电路的差分对称性和正确的连接关系。然而,通常版图会经过多次修改,修改的部分可能在镜像的时候被遗漏。左边画了金属块,右边也出现了同步出现了金属块。进入group会有同步复制的提示。

乾巽的博客 3052

ArcMap 10.7/10.8启动加载界面后闪退?可能是这个隐藏的Normal.mxt模板文件在搞鬼

本文深入分析了ArcMap 10.7/10.8启动加载界面后闪退的问题,指出Normal.mxt模板文件损坏是常见原因。提供了从定位、删除模板文件到系统级修复的完整解决方案,帮助GIS工程师快速恢复工作流程。

weixin_28523493的博客 333

标准正态分布函数表

愤怒的小兵 3万+

【SigmaStudio】自定义算法组件之XML编写规范(一)

SigmaStudio生成自定义算法组件时,需要XML和DLB文件,本文主要记录XML文件的编码规范

liang_song的博客 1142

深入了解 Huber 损失函数

Huber 损失函数结合了 MSE 和 MAE(平均绝对误差)的优点,它在误差较小时表现为 MSE,在误差较大时表现为 MAE。Lδa12a2for∣a∣≤δδ∣a∣−12δfor∣a∣δLδ​a21​a2δ∣a∣−21​δ​for∣a∣≤δfor∣a∣δ​其中,ay−yay−y​表示真实值yyy与预测值y\hat{y}y​之间的差异,δ\deltaδ。

qlkaicx的博客 4251

C#部署YOLO三种方案深度实测:OpenCV DNN vs ONNX Runtime vs TensorRT

在工业视觉项目落地阶段,C#生态下部署YOLO模型主要有三条技术路线。很多开发者仅凭经验选型,往往在部署后期踩中性能瓶颈、兼容故障、维护成本超标的坑。本文基于工控机常见硬件配置,针对YOLOv8系列模型做控制变量实测,从推理性能、部署难度、工业稳定性、综合成本等多个维度做横向对比,给出可直接落地的选型结论。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 470

2万字长文:海豚调度器(DolphinScheduler)面试题深入了解

DAG图(有向无环图)是海豚调度器中表示工作流任务依赖关系的一种方式。在DolphinScheduler中,每个任务是一个节点,任务之间的依赖关系通过有向边连接这些节点来表示。无环:保证了工作流的执行顺序是确定的,避免了无限循环的问题。有向:箭头指示了任务的执行方向,即上一个任务的输出可以作为下一个任务的输入。依赖表示:通过图形化界面,用户可以通过拖拽连接线来定义任务之间的先后顺序和依赖关系。并行处理:DAG图可以表示出任务的并行关系,允许多个任务在没有直接依赖关系的情况下同时执行。条件分支。

大模型大数据攻城狮的专栏 1334

Pytorch-18种经典的损失函数

一、18种损失函数 损失函数:衡量模型输出与真实标签的差异; 目标函数 = 代价函数 + 正则化项(L1或者L2等,惩罚项) 1、nn.CrossEntropyLoss(交叉熵损失) (1)什么是熵?:熵是信息论中最基本、最核心的一个概念,它衡量了一个概率分布的随机程度,或者说包含的信息量的大小。 具体公式推导可以参考这篇博主的讲解:一文搞懂交叉损失,讲解浅显易懂! (2)功能: nn.LogSoftmax ()与nn.NLLLoss ()结合,进行交叉熵计算 nn.C..

斯人若彩虹,遇上方知有! 1万+

由JavaScript版迷宫游戏引出Java版迷宫地图生成器

Java案例:迷宫地图生成器 一、引入问题 本期18软件1班网页脚本实训项目是完成一个JavaScript版迷宫游戏。 迷宫地图是如何生成的呢?很简单,将一个正方形区域等分为若干行与若干列,比如25行25列,这样就有625个单元格,用一个二维数组map[25][25]就可以保存625个单元格信息,map[i][j] = 1表示该单元格要绘制砖,而map[i][j] = 0表示该单元格不绘制砖。 ...

howard2005的专栏 1473

TensorFlow:经典损失函数

一,经典损失函数 交叉熵是一个信息论中的概念,它原本是用力啊估算平均编码长度的。在解决分类问题中,交叉熵刻画了两个概率分布之间的距离,是使用比较广的一种损失函数。给定两个概率分布p和q,通过q来表示p的交叉熵为: 注意的是,交叉熵酷话的是两个概率分布之间的距离,然而神经网络的输出却不一定是一个概率分布。概率分布刻画了不同事件发生的概率。把神经网络前向传播得到的结果变成概率分布,Soft

Qistar_Eva的博客 858

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

Tensorflow实例:实现经典损失函数

Tensorflow实现经典损失函数 神经网络模型的效果以及优化的目标是通过损失函数(Loss function)来定义的。如何判断一个输出向量和期望的向量有多接近呢? 交叉熵(cross entropy) 交叉熵刻画了两个概率分布之间的距离,它是分类问题中使用比较广的一种损失函数。给定两个概率分布p和q,通过q来表示p的交叉熵为: H(p,q)=−∑p(x)logq(x)H(p,q)...

蚊子爱牛牛的博客 2544

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

经典任务损失函数与评价指标

通过优化分布Q来拟合分布P,可以用KL散度来做为目标函数,当KL散度为0时两个分布一致。分布P是客观存在的,其信息熵为常量,把常量减去后即为交叉熵。一文搞懂交叉熵在机器学习中的使用,透彻理解交叉熵背后的直觉-优快云博客。可以看到KL散度在二分类问题下就是NLL负对数似然估计。以上概率也可以作为多分类任务的指标。

SofiaT的博客 1094

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

损失函数

目录:一、0-1损失函数二、平方损失函数(Square Loss):主要是最小二乘法(OLS)中; 三、绝对值损失函数四、对数损失函数(Cross Entropy Loss,Softmax Loss ):用于Logistic 回归与Softmax 分类中; 五、指数损失函数(Exponential Loss) :主要用于Adaboost...

qq_44929388的博客 532

机器学习经典损失函数比较

经典损失函数比较

Leo_Xu06的博客 8491

tenforflow经典损失函数总结

1 什么是损失函数? 用来刻画实际值与期望值之间距离的函数,函数返回值越大代表期望值与实际值差距越大,预测效果越差 2 常用损失函数有哪些? A 分类问题-交叉熵损失函数 交叉熵,刻画了期望概率分布与实际概率分布的距离,换句话说,通过概率分布q来表示p的困难程度,值越小,概率分布越接近 给定概率分布p和q,用q来表示p的交叉熵为 由于原始神经网络输出层输出为数值,因此交叉熵损失函数通常配合softmax回归函数使用,softmax函数将输出变成概率分布, 例如:二分类问题输出为0或者1,输

qq_29590285的博客 391

机器学习中经典的损失函数

损失函数(loss function)是用来估量你模型的预测值f(x)与真实值Y的不一致程度,它是一个非负实值函数,通常使用L(Y, f(x))来表示,损失函数越小,模型的鲁棒性就越好。损失函数是经验风险函数的核心部分,也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项,通常可以表示成如下式子:其中,前面的均值函数表示的是经验风险函数,L代表的是损失函数,后面的是正则化项(r...

妖白的奇幻漂流世界 754

TensorFlow中的损失函数

分类问题和回归问题是监督学习的两大种类,本文将分别介绍分类问题和回归问题中使用到的经典损失函数以及根据实际情况所自定义的损失函数。 同时注意损失函数定义的是损失,所以要将利润最大化,定义损失函数应该刻画成本或者代价。在实际情况中,可以根据具体问题自定义损失函数。 一、经典损失函数 1、分类问题 1.1、交叉熵简介 机器学习中,在解决二分类的情况时,可以通过设置一个阈值,大于阈值的认为是一类,小于阈...

Xiaozhu的博客 615

TensorFlow入门-10.经典损失函数-原理介绍

引言: “函数”不陌生,小时候我们曾经学过,函数表达的是一个对应关系。这种表述是相对宽泛的,也是相对准确的。宽泛是指客观来说这种表述对于数学也好,对于编程也好都是适用的。准确指的是,我主观上觉得它准确。“损失”就比较生活了,比如钱包被偷了,里面有五块钱现金,一张没有钱没来得及注销的银行卡,一包价值五毛钱的面巾纸及一张女朋友的照片。那么我们评估一下损失,发现这次损失了二十万零五块五,因为女朋友的照...

qq_32254003的博客 385
上一篇: Linear/Logistic/Softmax Regression对比
下一篇: 经典决策树对比
「已注销」
博客等级 码龄10年 4粉丝 18原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值