pointnet 第十二句 learning_rate = get_learning_rate(batch)

最新推荐文章于 2023-09-08 00:12:30 发布

原创最新推荐文章于 2023-09-08 00:12:30 发布 · 258 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#tensorflow

pointnet 专栏收录该内容

40 篇文章

订阅专栏

本文详细介绍了在深度学习训练过程中使用的一种动态调整学习率的方法——指数衰减学习率策略。该策略根据训练步数自动调整学习率，初始值为0.00001，随着训练的进行而增加，但不会超过设定的最大值。这一策略有助于提高模型训练的效率和效果。

learning_rate = get_learning_rate(batch)

首先看具体实现

def get_learning_rate(batch):
    learning_rate = tf.train.exponential_decay(
                        BASE_LEARNING_RATE,  # Base learning rate.
                        batch * BATCH_SIZE,  # Current index into the dataset.
                        DECAY_STEP,          # Decay step.
                        DECAY_RATE,          # Decay rate.
                        staircase=True)
    learning_rate = tf.maximum(learning_rate, 0.00001) # CLIP THE LEARNING RATE!
    return learning_rate

输入参数为batch，在目前的项目中表示train的step

与get_bn_decay（从0.5开始按照指数规则缓慢减少）相似，也是指数增加的learningrate而且从0.00001开始增加，