kernel_size为1的卷积核与全连接层的关系

最新推荐文章于 2023-02-28 16:44:30 发布

八荒_

最新推荐文章于 2023-02-28 16:44:30 发布

阅读量7.1k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：深度学习文章标签：深度学习

本文链接：https://blog.youkuaiyun.com/todoooooo/article/details/106522111

深度学习专栏收录该内容

1 篇文章

订阅专栏

本文探讨了卷积神经网络中kernel_size为1的卷积层如何等效于全连接层的数学原理。通过矩阵运算解析，证明了1x1卷积在特定条件下可以替代全连接层，提供了Pytorch代码示例验证这一理论。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

看到有文章说kernel_size为1的卷积相当于全连接层的运算，这里简单地使用1维的卷积核证明一下

输入的数据用 $\in \mathbb{R}^{(d,n)}$ 表示，共有 $n$ 个数据，每个数据是 $d$ 维。
全连接层用 $\in \mathbb{R}^{(d,d)}$ 表示，一维的卷积用 $\in \mathbb{R}^{(d,d)}$ 表示，即卷积的in_channel=d, out_channel=d， $C$ 的行向量可以看做是一个输出的out_channel为1卷积核 $C_i$ 。

使用 $C_i$ 对 $X$ 做卷积运算，相当于对 $X$ 的每一个列向量做点积，即 $Ci×X∈R(1,n)C_i \times X \in\mathbb{R}^{(1,n)}$ 所以用 $C$ 与 $X$ 做矩阵乘法即可得到卷积运算后的结果 $\times X \in\mathbb{R}^{(d,n)}$ 这一步和全连接层的矩阵乘法是等价的 $\times X \in\mathbb{R}^{(d,n)}$

接下来用Pytorch的代码证明上述过程：

import torch

x = torch.randn(1, 5, 4)  # batch-size = 1, d = 5, n = 4
c = torch.nn.Conv1d(in_channels=5, out_channels=5, kernel_size=1, bias=False)
l = torch.nn.Linear(in_features=5, out_features=5, bias=False)

l.weight = torch.nn.Parameter(c.weight[:, :, 0])

print(torch.allclose(c(x), l(x.transpose(1, 2)).transpose(1, 2)))