为什么机器学习算法难以优化?一文详解算法优化内部机制

损失的线性组合的问题 文章目录凸帕累托前沿面凹帕累托前沿面一般的实际问题 凸帕累托前沿面 当帕累托前沿面为凸时的前沿面如图所示: 调整α\alphaα只能改变平面的角度。星星在的点就是最优解,可见,对于所有的α\alphaα,模型都能找到最优解。 凹帕累托前沿面 可见,对于所有的α\alphaα,模型最后只能落到左右两点。 一般的实际问题 实际情况中,既存在凸的,也存在凹的,解只有在凸帕累托前沿面之中。 ... 阅读详情

机器学习

作者:JONAS DEGRAVE、IRA KORSHUNOVA

转自:机器之心

损失线性组合是正确的选择吗?这篇文章或许能够给你答案。

在机器学习中,损失的线性组合无处不在。虽然它们带有一些陷阱,但仍然被广泛用作标准方法。这些线性组合常常让算法难以调整。

在本文中,作者提出了以下论点:

  1. 机器学习中的许多问题应该被视为多目标问题,但目前并非如此;

  2. 「1」中的问题导致这些机器学习算法的超参数难以调整;

  3. 检测这些问题何时发生几乎是不可能的,因此很难解决这些问题。

有一些方法可以轻微缓解这些问题,并且不需要代码。

梯度下降被视为解决所有问题的一种方法。如果一种算法不能解决你的问题,那么就需要花费更多的时间调整超参数来解决问题。

损失的线性组合无处不在

尽管存在单目标的问题,但通常都会对这些目标进行额外的正则化。本文作者从整个机器学习领域选择了这样的优化目标。

首先来说正则化函数、权重衰减和 Lasso 算法。显然当你添加了这些正则化,你已经为你的问题创建了多目标损失。毕竟我们关心的是原始损失 L_0 和正则化损失都保持很低。你将会使用λ参数在这二者之间调整平衡。

因此,损失(如 VAE 的)实际上是多目标的,第一个目标是最大程度地覆盖数据,第二个目标是保持与先前的分布接近。在这种情况下,偶尔会使用 KL 退火来引入一个可调参数β,以帮助处理这种损失的多目标性。

同样在强化学习中,你也可以发现这种多目标性。在许多环境中,简单地将为达成部分目的而获得的奖励加起来很普遍。策略损失也通常是损失的线性组合。以下是 PPO、SAC 和 MPO 的策略损失及其可调整参数α的熵正则化方法。

最后,GAN 损失当然是判别器损失和生成器损失的和:

所有这些损失都有一些共性,研究者们正在尝试同时针对多个目标进行高效优化,并且认为最佳情况是在平衡这些通常相互矛盾的力量时找到的。在某些情况下,求和方式更加具体,并且引入了超参数以判断各部分的权重。在某些情况下,组合损失的方式有明确的理论基础,并且不需要使用超参数来调整各部分之间的平衡。

一些组合损失的方法听起来很有吸引力,但实际上是不稳定且危险的。平衡行为通常更像是在「走钢丝」。

样例分析

考虑一个简单的情况,我们尝试对损失的线性组合进行优化。我们采用优化总损失(损失的总和)的方法,使用梯度下降来对此进行优化,观察到以下行为:

Jax 中的代码如下:

def loss(θ):
  return loss_1(θ) + loss_2(θ)
loss_derivative = grad(loss)
for gradient_step in range(200):
  gradient = loss_derivative(θ)
  θ = θ - 0.02 * gradient

通常情况下,我们对两个损失之间的权衡并不满意,因此在第二个损失上引入了比例系数α,并运行了以下代码:

def loss(θ, α):
  return loss_1(θ) + α*loss_2(θ)
loss_derivative = grad(loss)
for gradient_step in range(200):
  gradient = loss_derivative(θ, α=0.5)
  θ = θ - 0.02 * gradient

我们希望看到:当调整 α 时,可以选择两个损失之间的折衷,并选择最适合自身应用的点。我们将有效地进行一个超参数调整回路,手动选择一个α来运行优化过程,决定降低第二个损失,并相应地调整α并重复整个优化过程。经过几次迭代,我们满足于找到的解,并继续写论文。

但是,事实并非总是如此。有时,问题的实际行为如下动图所示:

看起来无论怎样调整参数α,都不能很好地权衡两种损失。

我们看到了两类解决方案,它们都分别忽略了一种损失。但是,这两种解决方案都不适用于大多数应用。在大多数情况下,两种损失更加平衡的点是可取的解决方案。

实际上,这种关于训练过程中两种损失的图表几乎从未绘制过,因此该图中所示的动态情况常常无法观察到。我们只观察绘制总体损失的训练曲线,并且得出超参数需要更多时间调整的结论。也许我们可以采取一种早停法(early stopping),以使得论文中的数据是有效的。毕竟,审稿人喜欢高效的数据。

问题出在哪里呢?为什么这种方法有时有效,有时却无法提供可调参数?为此,我们需要更深入地研究一下以下两个动图之间的差异。它们都是针对相同的问题,使用相同的损失函数生成的,并且正在使用相同的优化方法来优化这些损失。因此,这些都不是造成差异的原因。在这些问题之间发生变化的是模型。换句话说,模型参数θ对模型输出的影响是不同的。

因此,让我们可视化一下通常不可见的东西,这是两个优化的帕累托前沿。这是模型可以实现且是不受其他任何解决方案支配的解决方案的集合。换句话说,这是一组可实现的损失,没有一个点可以使所有损失都变得更好。无论你如何选择在两个损失之间进行权衡,首选的解决方案始终依赖帕累托前沿。通常,通过调整损失的超参数,你通常希望仅在同一个前沿找到一个不同的点。

两个帕累托前沿之间的差异会使得第一种情况的调优效果很好,但是在更改模型后却严重失败了。事实证明,当帕累托前沿为凸形时,我们可以通过调整α参数来实现所有可能的权衡效果。但是,当帕累托前沿为凹形时,该方法似乎不再有效。

为什么凹帕累托前沿面的梯度下降优化会失败?

通过查看第三个维度中的总体损失,可以发现实际上是用梯度下降优化了损失。在下图中,我们可视化了相对于每个损失的总损失平面。实际上是使用参数的梯度下降到该平面上,采取的每个梯度下降步骤也必将在该平面上向下移动。你可以想象成梯度下降优化过程是在该平面上放置一个球形小卵石,使其在重力作用下向下移动直到它停下来。

优化过程停止的点是优化过程的结果,此处用星星表示。如下图所示,无论你如何上下摆动该平面,最终都将得到最佳结果。

通过调整α,此空间将保持一个平面。毕竟更改α只会更改该平面的倾斜度。在凸的情况下,可以通过调整α来实现帕累托曲线上的任何解。α大一点会将星星拉到左侧,α小一点会将星星拉到右侧。优化过程的每个起点都将在相同的解上收敛,这对于α的所有值都是正确的。

但是,如果我们看一下具有凹帕累托前沿面的不同模型问题,那么问题出现在哪里就变得显而易见了。

如果我们想象卵石遵循该平面上的梯度:有时向左滚动更多,有时向右滚动更多,但始终向下滚动。然后很明显它最终将到达两个角点之一,即红色星或蓝色星。当我们调整α时,该平面以与凸情况下完全相同的方式倾斜,但由于帕累托前沿面的形状,将永远只能到达该前沿面上的两个点,即凹曲线末端的两个点。使用基于梯度下降方法无法找到曲线上的 × 点(实际上想要达到的点)。为什么?因为这是一个鞍点(saddle point)。

同样要注意的是,当我们调整α时会发生什么。我们可以观察到,相对于其他解,一个解需要调整多少个起点,但我们无法调整以找到帕累托前沿面上的其他解。

这些线性组合会导致哪些问题?

我们列举了使用这种线性损失组合方法的问题:

  • 第一,即使没有引入超参数来权衡损失,说梯度下降试图在反作用力之间保持平衡也是不正确的。根据模型可实现的解,可以完全忽略其中一种损失,而将注意力放在另一种损失上,反之亦然,这取决于初始化模型的位置;

  • 第二,即使引入了超参数,也将在尝试后的基础上调整此超参数。研究中往往是运行一个完整的优化过程,然后确定是否满意,再对超参数进行微调。重复此优化循环,直到对性能满意为止。这是一种费时费力的方法,通常涉及多次运行梯度下降的迭代;

  • 第三,超参数不能针对所有的最优情况进行调整。无论进行多少调整和微调,你都不会找到可能感兴趣的中间方案。这不是因为它们不存在,它们一定存在,只是因为选择了一种糟糕的组合损失方法;

  • 第四,必须强调的是,对于实际应用,帕累托前沿面是否为凸面以及因此这些损失权重是否可调始终是未知的。它们是否是好的超参数,取决于模型的参数化方式及其影响帕累托曲线的方式。但是,对于任何实际应用,都无法可视化或分析帕累托曲线。可视化比原始的优化问题要困难得多。因此出现问题并不会引起注意;

  • 最后,如果你真的想使用这些线性权重来进行权衡,则需要明确证明整个帕累托曲线对于正在使用的特定模型是凸的。因此,使用相对于模型输出而言凸的损失不足以避免问题。如果参数化空间很大(如果优化涉及神经网络内部的权重,则情况总是如此),你可能会忘记尝试这种证明。需要强调的是,基于某些中间潜势(intermediate latent),显示这些损失的帕累托曲线的凸度不足以表明你具有可调参数。凸度实际上需要取决于参数空间以及可实现解决方案的帕累托前沿面。

请注意,在大多数应用中,帕累托前沿面既不是凸的也不是凹的,而是二者的混合体,这扩大了问题。

以一个帕累托前沿面为例,凸块之间有凹块。每个凹块不仅可以确保无法通过梯度下降找到解,还可以将参数初始化的空间分成两部分,一部分可以在一侧的凸块上找到解,而另一部分智能在另一侧上找到解。如下动图所示,在帕累托前沿面上有多个凹块会使问题更加复杂。

因此,我们不仅具有无法找到所有解的超参数α,而且根据初始化,它可能会找到帕累托曲线的不同凸部分。此参数和初始化以令人困惑的方式相互混合,这让问题更加困难。如果稍微调整参数以希望稍微移动最优值,则即使保持相同的初始化,也可能会突然跳到帕累托前沿面的其他凸部分。

原文链接:https://engraved.ghost.io/why-machine-learning-algorithms-are-hard-to-tune/

从架构到算法,详解美团外卖订单分配内部机制 美团点评日前完成最新一轮融资,估值达到300亿美元。此轮融资后将会在人工智能、无人配送等前沿技术研发上加大投入。但我们并不是为技术而技术,事实上,人工智能技术已经在支撑着我们众多业务场景。以日订单量刚刚突破1600万的外卖业务为例,智能调度系统就是整个平台的“超级大脑”,发挥了至关重要的作用。我们将通过一系列的文章来为大家揭开这背后的技术秘密。今天是系列的第一篇,讲解外卖调度中关键难点之一——订单 阅读详情

相关推荐

人工智能(AI)与机器学习(ML):塑造未来的技术引擎

人工智能是一种模拟、延伸和扩展人类智能的理论、方法、技术及应用系统。它旨在让计算机能够像人类一样思考、学习,并能在各种环境下自主地做出决策。AI的发展经历了从最初的符号主义、连接主义到如今的深度学习等多个阶段,每一次的突破都极大地推动了科技的进步。尽管AI与ML技术取得了巨大的进步,但它们仍然面临着诸多挑战。首先,数据的获取和标注是一个巨大的问题。高质量的标注数据是机器学习模型训练的关键,但数据的获取和标注往往需要耗费大量的人力和时间。其次,模型的泛化能力也是一个需要解决的问题。

星途码客的博客 7753

多源迁移学习网络补充知识用于具有不可见故障的机器智能诊断

*摘要:**当前基于深度迁移学习的故障诊断的大多数成功需要两个假设:1)源机器的健康状态集合应当与目标机器的健康状态集合重叠;2)目标机器样本的数量跨健康状态平衡。然而,这样的假设在工程场景中是不现实的,其中目标机器遭受在源机器中看不到的故障类型,并且目标机器大多处于健康状态,仅偶尔发生故障。因此,来自源机器的诊断知识可能不覆盖目标机器的所有故障类型,也不解决不平衡的目标样本。

qq_43906881的博客 1825

人工智能AI 与 机器学习ML 的关键区别

人工智能(AI)是指计算机系统能够执行通常需要人类智能才能完成的任务。包括理解自然语言、识别图像、解决复杂问题和做出决策。AI的目标是创建能够模仿或超越人类智能的系统。弱人工智能(弱AI):也称为窄AI,专注于特定任务。例如,语音助手(如Siri和Alexa)和推荐系统(如Netflix和Amazon的推荐算法)。强人工智能(强AI):也称为通用AI,具有执行任何人类智能任务的能力。目前,强AI仍处于理论阶段,尚未实现。机器学习(ML)是人工智能的一个子领域。

王教主的博客 5944

跨学科合作:如何实现知识共享

1.背景介绍 跨学科合作是指来自不同学科领域的专家和研究人员在共同的项目中进行合作。这种合作方式可以帮助解决复杂的问题,提高研究的效率和质量。在当今的大数据时代,跨学科合作已经成为实现知识共享和创新发展的重要手段。 随着人工智能、大数据、计算机科学等领域的发展,跨学科合作在各个领域都取得了显著的成果。例如,生物信息学家和计算机科学家的合作,为生物学领域的研究提供了新的方法和工具;地球科学家和气...

AI天才研究院 1834

ML.NET 自动机器学习(AutoML)完全指南

随着机器学习技术在各行各业的广泛应用,如何快速构建高质量的机器学习模型已成为开发团队面临的核心挑战。传统机器学习流程需要开发者具备深厚的算法知识、丰富的调参经验以及对数据预处理的深刻理解,这无疑提高了机器学习的应用门槛。ML.NET 作为微软推出的开源机器学习框架,其内置的 AutoML(自动机器学习)功能彻底改变了这一局面。

痴迷于AI技术,AI 生态的小猿猴 870

ML4T工作流程:从ML模型到策略回测(交易中的机器学习)

除了大量活跃的个人交易者社区,也有几家银行和交易公司使用backtrader来原型和测试新策略,然后将其移植到生产就绪的平台,如Java。例如,您可以使用我们在本书中遇到的scikit-learn等通用ML库设计和测试生成信号的ML模型,并将模型输出输入单独的回测引擎。这些对象相互作用,以便于输入数据的处理和因子计算,制定和执行策略,接收和执行订单,以及跟踪和度量业绩。简单地说,回测引擎遍历历史价格(和其他数据),将当前值传递给您的算法,收到订单作为回报,并跟踪所得仓位及其价值。

weixin_41908924的博客 1611

PPO算法(附pytorch代码)

PPO算法是一种强化学习中的策略梯度方法,它的全称是Proximal Policy Optimization,即近端策略优化1。PPO算法的目标是在与环境交互采样数据后,使用随机梯度上升优化一个“替代”目标函数,从而改进策略。PPO算法的特点是可以进行多次的小批量更新,而不是像标准的策略梯度方法那样每个数据样本只进行一次梯度更新12。PPO算法有两种主要的变体:PPO-Penalty和PPO-Clip。

qq_45889056的博客 6万+

深度解析算法优化内部机制:为什么机器学习算法难以优化?

前言 以下是我为大家准备的几个精品专栏,喜欢的小伙伴可自行订阅,你的支持就是我不断更新的动力哟! MATLAB-30天带你从入门到精通 MATLAB深入理解高级教程(附源码) tableau可视化数据分析高级教程 在机器学习中,损失的线性组合无处不在。虽然它们带有一些陷阱,但仍然被广泛用作标准方法。这些线性组合常常让算法难以调整。 在本文中,提出了以下论点: 机器学习中的许多问题应该被视为多目标问题,但目前并非如此; 「1」中的问题导致这些机器学习算法的超参数难以...

wenyusuran的专栏 1302

一文详解:算法优化内部机制

点击 机器学习算法与Python学习 ,选择加星标精彩内容不迷路选自engraved.blog作者:JONAS DEGRAVE、IRA KORSHUNOVA机器之心编译在机器学习中,损失的...

机器学习算法与Python学习 405

从零实现机械臂抓取仿真:用MoveIt+Gazebo完成物体pick&place全流程

本文详细介绍了如何使用ROS的MoveIt框架与Gazebo仿真环境,从零构建机械臂抓取仿真系统。涵盖环境搭建、MoveIt配置、Gazebo集成、抓取动作实现等全流程,帮助开发者掌握机械臂控制的核心技术,实现高效的pick&place任务。

weixin_29250403的博客 478

S参数反演法

等效介质理论模型— 利用S参数反演法提取超材料结构的等效参数 等效介质理论模型—利用S参数反演法提取超材料结构的等效参数 S参数反演法,即利用等效模型的传输矩阵和S参数求解超材料结构的等效折射率n和等效阻抗Z的过程。本文对等效介质理论模型进行了详细介绍,并提供对应代码。 超材料的传输矩阵 超材料结构的传输矩阵函数为: 其中,d 为等效光学活性材料的厚度,n 为折射率,Z 表示阻抗。 S参数和传输矩阵T 超材料结构的S参数和传输矩阵T满足下列方程: 利用以上两式,可以得到等效折射率n和相对阻抗的表达式

weixin_43962864的博客 1万+

Interview之ML:机器学习算法工程师结构知识思维导图集合、求职九大必备技能之【数学基础、特征工程能力、模型评估和优化、机器学习基本概念/经典算法、深度学习算法、业务与应用】(持续更新)

​ Interview之ML:机器学习算法工程师结构知识思维导图集合、求职九大必备技能之【数学基础、特征工程能力、模型评估和优化、机器学习基本概念/经典算法、深度学习算法、业务与应用】(持续更新) 目录 机器学习算法工程师思维导图集合 一、数学基础 二、工程能力 三、特征工程 四、模型评估 五、优化算法 六、机器学习基本概念和分类 七、经典机器学习模型

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 5623

XTDrone——无人机基于2D激光Lidar进行二维运动规划(细节提醒以及相关报错解决)

本文介绍了在Ubuntu 20.04系统无人机基于ROS Noetic实现HectorSLAM二维激光建图与运动规划的完整流程。主要内容包括:安装必要ROS依赖库;修改HectorSLAM的launch文件,解决坐标系转换问题;配置地图发布参数以避免覆盖已建地图;启动PX4仿真环境与XTDrone通信模块;最后通过2D导航目标点实现无人机运动规划。文中详细说明了各步骤的关键配置修改,并提供了处理常见错误(如TF转换超时)的解决方案。实现了从激光SLAM建图到路径规划的过程。

weixin_45390670的博客 996

163MusicLyrics:免费批量下载 LRC 歌词,4 步从单曲到整目录搞定

163MusicLyrics 是一款跨平台的 LRC 歌词批量下载与处理工具,Windows、macOS、Linux 三个系统都能运行,全程免费。它接入网易云音乐、QQ 音乐两个来源,可以按歌曲 ID 或分享链接查歌,把带时间轴的原文、译文歌词取出来,存成 LRC 或 SRT 文件。除单曲查询外,它还内置模糊搜索、批量搜索和本地目录扫描,适合一次处理整个文件夹的歌曲。歌词与试听直链会缓存在本地,同

gitblog_00710的博客 986

ANSYS Fluent DPM实战:从单点到锥形注入的粒子模拟全流程解析

本文深度解析了ANSYS Fluent中离散相模型(DPM)的粒子注入(Injection)设置全流程。从单点注入到锥形喷雾,详细阐述了不同注入类型的物理本质、参数逻辑与适用场景,并提供了粒径分布、湍流扩散等高级参数设置技巧与实战避坑指南,帮助工程师精准模拟喷雾、粉尘等粒子运动行为。

weixin_29276847的博客 658

MATLAB R2022b 安装教程

1. 下载安装先放资源链接,百度网盘太贵了不想续了,换了夸克网盘。1. 下载安装。

qq_51654158的博客 2万+
上一篇: Github标星4.8K!微软开源的可视化工具,未免太酷炫了吧
下一篇: 使用图像分割来做缺陷检测的一个例子
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值