【Pytorch基础】torch.nn.Linear()函数

转载已于 2022-04-13 10:25:11 修改 · 1.3k 阅读

1 ·

CC 4.0 BY-SA版权

原文链接：https://zhuanlan.zhihu.com/p/152198144

文章标签：

#pytorch

于 2021-03-26 10:01:33 首次发布

Pytorch学习专栏收录该内容

32 篇文章

订阅专栏

本文详细介绍了PyTorch中的全连接层nn.Linear()，通过实例展示了如何使用该层进行线性变换，并解释了m.weight.shape为何为(30,20)，即权重矩阵的设置方式。nn.Linear()用于网络中构建从20维到30维的转换，通过权重矩阵的转置与输入数据相乘再加上偏置项完成计算。内容涵盖了线性变换的数学原理和PyTorch实现的细节。

部署运行你感兴趣的模型镜像

PyTorch的nn.Linear()是用于设置网络中的全连接层具体的介绍如下：

import torch

x = torch.randn(128, 20)  # 输入的维度是（128，20）
m = torch.nn.Linear(20, 30)  # 20,30是指维度
output = m(x)
print('m.weight.shape:\n ', m.weight.shape)
m.weight.shape:
  torch.Size([30, 20])
  
print('m.bias.shape:\n', m.bias.shape)
m.bias.shape:
 torch.Size([30])
 
print('output.shape:\n', output.shape)
output.shape:
 torch.Size([128, 30])
 
# ans = torch.mm(input,torch.t(m.weight))+m.bias 等价于下面的
ans = torch.mm(x, m.weight.t()) + m.bias   
print('ans.shape:\n', ans.shape)
ans.shape:
 torch.Size([128, 30])
 
print(torch.equal(ans, output))
True