【神经网络实践】tensorflow下网络多学习率的实现（暂未测试）

爱吃苹果的魚

于 2018-12-21 23:48:34 发布

阅读量186

点赞数

分类专栏：神经网络实践 python 文章标签： tensorflow 神经网络

本文链接：https://blog.youkuaiyun.com/fish_like_apple/article/details/85177600

版权

本文介绍了如何在TensorFlow下实现网络中不同部分应用不同学习率的方法。作者受到一篇论文的启发，但在网上找不到直接的代码实现，于是自行编写了代码。代码主要功能是一个接受变量名和对应学习率的函数，用于设置特定层的学习率。由于时间限制，代码尚未进行测试。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言：

{

在看到了在网络中应用不同学习率的论文[1]后，我就想尝试一下这种多学习率的方法。

}

正文：

{

我在谷歌上搜索了一下，没搜到直接的代码，但发现了[2]。之后自己写了段代码，见代码1。

#代码1
def multi_learning_rate_optimizor(learning_rate_mapping, tf_optimizor):
    """This fucntion is to replace an original tf optimizor. 
       learning_rate_mapping is a list [[a front name part of variables 1, learning rate 1]
                                        [a front name part of variables 2, learning rate 2]
                                         ...]
       tf_optimizor is the function of the original tf optimizor"""
    var_list = []
    total_var_list = []
    opt = []
    grads = []
    tran_op_list = []
    trainable_variables = tf.trainable_variables().copy()
    total_var_list = tf.trainable_variables().copy()
    learning_rate_for_other &#

最低0.47元/天解锁文章