Angel机器学习框架中的优化器详解

Angel机器学习框架中的优化器详解

angel 项目地址: https://gitcode.com/gh_mirrors/ang/angel

引言

在机器学习模型训练过程中，优化器(Optimizer)的选择直接影响着模型的收敛速度和最终性能。Angel作为一个高性能的分布式机器学习框架，提供了多种优化算法以适应不同场景的需求。本文将详细介绍Angel框架中支持的各类优化器，包括它们的数学原理、适用场景以及配置方法。

1. 优化器概述

Angel目前支持两大类优化方法：

1. 基于随机梯度下降(SGD)的方法：

   • SGD (小批量随机梯度下降)
   • Momentum (带动量的SGD)
   • AdaGrad (带Hessian对角近似的SGD)
   • AdaDelta
   • Adam (带动量与对角Hessian近似的SGD)

2. 在线学习方法：

   • FTRL (Follow The Regularized Leader)

2. 各优化器详解

2.1 SGD (随机梯度下降)

数学原理：

x_{t+1} = x_t - ηΔx_t

其中η是学习率。

特点：

• 实现简单，计算量小
• 支持L1和L2正则化
• 实际优化采用PGD(proximal gradient descent)

配置示例：

{
    "optimizer": {
        "type": "sgd",
        "reg1": 0.01,  // L1正则系数
        "reg2": 0.02   // L2正则系数
    }
}

2.2 Momentum (动量法)

数学原理：

v_t = γv_{t-1} + Δx_t
x_{t+1} = x_t - ηv_t

其中γ是动量因子，η是学习率。

特点：

• 通过引入动量加速收敛
• 减少震荡，使优化方向更加稳定
• 只支持L2正则化
• Angel中的默认优化器

配置示例：

{
    "optimizer": {
        "type": "momentum",
        "momentum": 0.9,  // 动量因子
        "reg2": 0.01       // L2正则系数
    }
}

2.3 AdaGrad

数学原理：

n_t = βn_{t-1} + (1-β)g_t^2
Δθ = -η/(√n_t + ε) · g_t

其中β是平滑因子，η是学习率。

特点：

• 自适应调整学习率
• 适合处理稀疏特征
• 支持L1和L2正则化

配置示例：

{
    "optimizer": {
        "type": "adagrad",
        "beta": 0.9,      // 平滑因子
        "reg1": 0.01,     // L1正则系数
        "reg2": 0.01      // L2正则系数
    }
}

2.4 AdaDelta

数学原理：

n_t = αn_{t-1} + (1-α)g_t^2
Δθ = -√(v_{t-1} + ε)/√(n_t + ε) · g_t
v_t = βv_{t-1} + (1-β)Δθ_t^2

其中α和β是平滑因子。

特点：

• 不需要设置初始学习率
• 自适应调整学习率
• 支持L1和L2正则化

配置示例：

{
    "optimizer": {
        "type": "adadelta",
        "alpha": 0.9,     // 平滑因子
        "beta": 0.9,      // 平滑因子
        "reg1": 0.01,     // L1正则系数
        "reg2": 0.01      // L2正则系数
    }
}

2.5 Adam

数学原理：

m_t = βm_{t-1} + (1-β)Δx_t
v_t = γv_{t-1} + (1-γ)Δx_t^2
x_t = γx_{t-1} - η(√(1-γ^t))/(1-β^t) · m_t/(√v_t + ε)

其中m_t是梯度的指数平滑(动量)，v_t是梯度平方的指数平滑(Hessian对角近似)。

特点：

• 结合了动量和自适应学习率
• 默认参数β=0.9，γ=0.99
• 只支持L2正则化
• 通常表现优异

配置示例：

{
    "optimizer": {
        "type": "adam",
        "beta": 0.9,      // 动量因子
        "gamma": 0.99,    // Hessian近似因子
        "reg2": 0.01      // L2正则系数
    }
}

2.6 FTRL (在线学习算法)

特点：

• 专为在线学习设计
• 可以得到非常稀疏的解
• 优化regret bound
• 支持L1和L2正则化

配置示例：

{
    "optimizer": {
        "type": "ftrl",
        "alpha": 0.1,     // 学习率相关参数
        "beta": 1.0,      // 学习率相关参数
        "reg1": 0.01,     // L1正则系数
        "reg2": 0.01      // L2正则系数
    }
}

3. 优化器选择建议

3.1 收敛速度比较

不同优化器的收敛速度关系如下：

FTRL < SGD < Momentum < AdaGrad ≈ AdaDelta < Adam

3.2 Batch Size选择

由于不同优化器对梯度估计的精度要求不同，推荐的Batch Size关系为：

BatchSize(FTRL) < BatchSize(SGD) < BatchSize(Momentum) 
< BatchSize(AdaGrad) ≈ BatchSize(AdaDelta) < BatchSize(Adam)

3.3 学习率设置

• 初始值：可以从1.0开始，以指数方式(2或0.5为底)调整
• 比较：
  • SGD和Momentum可以使用相对较大的学习率
  • AdaGrad、AdaDelta和Adam对学习率较敏感，通常设为SGD/Momentum的一半

3.4 正则化建议

• 目前支持情况：
  • FTRL、SGD、AdaGrad、AdaDelta：支持L1和L2正则
  • Momentum、Adam：仅支持L2正则
• 实践建议：从不使用正则开始，根据效果逐步添加

3.5 Deep & Wide模型优化

对于Deep and Wide模型：

• Wide部分：使用FTRL(收敛较慢，与深度部分协调)
• Deep部分：使用Adam(收敛较快，参数多)

4. 总结

Angel框架提供了丰富的优化器选择，从基础的SGD到高级的Adam和FTRL，可以满足不同机器学习任务的需求。在实际应用中，需要根据模型特点、数据特性和计算资源等因素综合考虑，选择最适合的优化器及其参数配置。

对于初学者，建议从默认的Momentum开始尝试，然后根据效果逐步尝试更复杂的优化器。同时要注意不同优化器对学习率、正则化和Batch Size的不同要求，以获得最佳的训练效果。

angel 项目地址: https://gitcode.com/gh_mirrors/ang/angel