pytorch权重初始化之kaiming_normal初始化

最新推荐文章于 2025-07-15 07:08:25 发布

转载最新推荐文章于 2025-07-15 07:08:25 发布 · 2.6w 阅读

深度学习专栏收录该内容

39 篇文章

订阅专栏

本文详细介绍了在PyTorch中使用Kaiming初始化方法为权重张量进行初始化的过程。通过具体代码示例，展示了如何指定不同的初始化模式和非线性函数，以适应不同的神经网络结构。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import torch
import torch.nn as nn

w = torch.empty(2, 3)

# torch.nn.init.kaiming_normal_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')
nn.init.kaiming_normal_(w, mode='fan_out', nonlinearity='relu')
# tensor([[ 0.2530, -0.4382,  1.5995],
#         [ 0.0544,  1.6392, -2.0752]])

https://www.aiuai.cn/aifarm613.html mark