Keras关于训练冻结部分层

最新推荐文章于 2022-04-05 19:21:55 发布

原创最新推荐文章于 2022-04-05 19:21:55 发布 · 2.3k 阅读

13 ·

CC 4.0 BY-SA版权

深度学习专栏收录该内容

5 篇文章

订阅专栏

本文介绍在Keras中冻结特定层进行微调的两种方法。一种是在构建模型时直接设置层的trainable属性为False，另一种是在模型构建后通过遍历model.layers并设置layer.trainable属性为False来实现。此外，还提供了如何根据层名称选择性冻结层的示例。

设置冻结层有两种方式。

（不推荐）是在搭建网络时，直接将某层的trainable设置为false，例如:
```
layers.Conv2D(filters1, (1, 1), trainable=False)(input_tensor)
```

在网络搭建完成时，遍历model.layer,然后将layer.trainable设置为False:

# 冻结网络倒数的3层
for layer in model.layers[:-3]:
    print(layer.trainable)
    layer.trainable = False

也可以根据layer.name来确定哪些层需要冻结,例如冻结最后一层和RNN层：

for layer in model.layers:
	layerName=str(layer.name)
	if layerName.startswith("RNN_") or layerName.startswith("Final_"):
		layer.trainable=False

可以在实例化之后将网络层的 trainable 属性设置为 True 或 False。为了使之生效，在修改 trainable 属性之后，需要在模型上调用 compile()。这是一个例子

x = Input(shape=(32,))
layer = Dense(32)
layer.trainable = False
y = layer(x)

frozen_model = Model(x, y)
# 在下面的模型中，训练期间不会更新层的权重
frozen_model.compile(optimizer='rmsprop', loss='mse')

layer.trainable = True
trainable_model = Model(x, y)
# 使用这个模型，训练期间 `layer` 的权重将被更新
# (这也会影响上面的模型，因为它使用了同一个网络层实例)
trainable_model.compile(optimizer='rmsprop', loss='mse')

frozen_model.fit(data, labels)  # 这不会更新 `layer` 的权重
trainable_model.fit(data, labels)  # 这会更新 `layer` 的权重

在网络搭建时，可以考虑最后一个分类层命名和分类数量关联，这样当费雷数量方式变化时，model.load_weight(“weight.h5”，by_name=True)不会加载最后一层