Keras学习笔记12——keras.initializers

关注

转载最新推荐文章于 2026-09-20 23:30:41 发布 3.7k 阅读 AI 写同款· GEO 优化 ›

PyTorch、TensorFlow、Keras底层原理与工程选型指南深度学习框架不仅是API集合，更是计算图构建、内存管理与硬件协同的系统性工程。理解动态图（PyTorch Eager Mode）与静态图（TensorFlow @tf.function）的本质差异，是定位loss异常、梯度消失等调试难题的关键；掌握Autograd引擎与XLA编译器的工作机制，才能在混合精度训练、TPU加速等场景中规避显存泄漏与版本漂移风险。Keras的高阶抽象虽提升开发效率，但其API契约也隐含设备放置、训练/推理模式切换等运行时约束。本文从计算图执行模型出发，解析三大框架在数据加载、模型阅读详情

初始化器的用法

初始化定义了设置 Keras 各层权重随机初始值的方法。
用来将初始化器传入 Keras 层的参数名取决于具体的层。通常关键字为 kernel_initializer 和 bias_initializer:

model.add(Dense(64,
                kernel_initializer='random_uniform',
                bias_initializer='zeros'))

一个初始化器可以作为一个字符串传递（必须匹配上面的一个可用的初始化器），或者作为一个可调用函数传递：

from keras import initializers
# 可调用函数传递
model.add(Dense(64, kernel_initializer=initializers.random_normal(stddev=0.01)))

# 字符串传递，同样有效;将使用默认参数。
model.add(Dense(64, kernel_initializer='random_normal'))

可用的初始化器

下面这些是可用的内置初始化器，是 keras.initializers 模块的一部分:

Initializer

keras.initializers.Initializer()

初始化器基类：所有初始化器继承这个类。

Zeros

keras.initializers.Zeros()

将张量初始值设为 0 的初始化器。

Ones

keras.initializers.Ones()

将张量初始值设为 1 的初始化器。

Constant

keras.initializers.Constant(value=0)

将张量初始值设为一个常数的初始化器。

参数
value: 浮点数，生成的张量的值。

RandomNormal

按照正态分布生成随机张量的初始化器。

keras.initializers.RandomNormal(mean=0.0, stddev=0.05, seed=None)

参数

mean: 一个 Python 标量或者一个标量张量。要生成的随机值的平均数。
stddev: 一个 Python 标量或者一个标量张量。要生成的随机值的标准差。
seed: 一个 Python 整数。用于设置随机数种子。

RandomUniform

按照均匀分布生成随机张量的初始化器。

keras.initializers.RandomUniform(minval=-0.05, maxval=0.05, seed=None)

参数

minval: 一个 Python 标量或者一个标量张量。要生成的随机值的范围下限。
maxval: 一个 Python 标量或者一个标量张量。要生成的随机值的范围下限。默认为浮点类型的 1。
seed: 一个 Python 整数。用于设置随机数种子。

TruncatedNormal

按照截尾正态分布生成随机张量的初始化器。

keras.initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None)

生成的随机值与 RandomNormal 生成的类似，但是在距离平均值两个标准差之外的随机值将被丢弃并重新生成。这是用来生成神经网络权重和滤波器的推荐初始化器。

参数：

mean: 一个 Python 标量或者一个标量张量。要生成的随机值的平均数。
stddev: 一个 Python 标量或者一个标量张量。要生成的随机值的标准差。
seed: 一个 Python 整数。用于设置随机数种子。

VarianceScaling

初始化器能够根据权值的尺寸调整其规模。

keras.initializers.VarianceScaling(scale=1.0, mode='fan_in', 
distribution='normal', seed=None)

参数

scale: 缩放因子（正浮点数）。
distribution: 使用的随机分布。“normal”, “uniform” 之一。
- 使用 distribution=“normal” 时，样本是从一个以 0 为中心的截断正态分布中抽取的，stddev = sqrt(scale / n)。
- 使用 distribution=“uniform” 时，样本是从 [-limit，limit] 内的均匀分布中抽取的，其中 limit = sqrt(3 * scale / n)。
mode: “fan_in”, “fan_out”, “fan_avg” 之一。
- n = 权值张量中输入单元的数量，如果 mode = “fan_in”。
- n = 输出单元的数量，如果 mode = “fan_out”。
- n = 输入和输出单位数量的平均数，如果 mode = “fan_avg”。
seed: 一个 Python 整数。作为随机发生器的种子。

Orthogonal

生成一个随机正交矩阵的初始化器。

keras.initializers.Orthogonal(gain=1.0, seed=None)

参数

gain: 适用于正交矩阵的乘法因子。
seed: 一个 Python 整数。作为随机发生器的种子。

Identity

生成单位矩阵的初始化器。仅用于 2D 方阵

keras.initializers.Identity(gain=1.0)

参数：
gain: 适用于单位矩阵的乘法因子。