卷积操作中的矩阵乘法（gemm）—— 为什么矩阵乘法是深度学习的核心所在

最新推荐文章于 2025-10-16 05:26:04 发布

原创

最新推荐文章于 2025-10-16 05:26:04 发布 · 1.8k 阅读

2 ·

CC 4.0 BY-SA版权

本文探讨了卷积操作如何通过矩阵乘法（GEMM）实现，解释了为何矩阵乘法在深度学习中扮演关键角色。内容包括将输入特征映射转换为一维向量，从而简化卷积为线性运算的过程。

1. 全连接

k 个 feature maps；
3. 卷积操作中的矩阵乘法
- 按 [kernel_height, kernel_width, kernel_depth] ⇒ 将输入分成 3 维的 patch，并将其展

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

阿拉斯加的狗

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

解释矩阵乘法在神经网络中的应用（面试题200合集，高频、关键）

qq_38334677的博客

05-16

668

从最简单的感知器到复杂的深度学习模型，如卷积神经网络（CNNs）、循环神经网络（RNNs）以及Transformer，矩阵乘法无处不在，它不仅提供了简洁的数学表达方式，更重要的是使得大规模并行计算成为可能，从而推动了人工智能的飞速发展。它不仅提供了一种优雅而强大的方式来表达神经元之间的复杂交互，更重要的是，它使我们能够利用现代计算硬件的并行处理能力来训练和部署日益庞大和复杂的深度学习模型。矩阵乘法不仅是全连接层的核心，在其他更复杂的网络结构中也扮演着关键角色，尽管有时会以更间接的方式出现。

将卷积运算转换成矩阵相乘

09-13

本程序将一般的卷积运算心矩阵相乘的形式给出，并且可以心大矩阵的形式来显示卷积核的内容。

参与评论您还未登录，请先登录后发表或查看评论

Flux中的GroupGEMM技术：MoE层性能提升的关键所在

最新发布

gitblog_00266的博客

10-16

752

在大规模深度学习模型训练中，混合专家模型（Mixture of Experts, MoE）已成为突破性能瓶颈的重要架构。然而，传统MoE实现中通信与计算的串行执行模式严重制约了GPU算力利用率。Flux作为专注于GPU张量/专家并行的通信重叠库，通过创新性的GroupGEMM技术将MoE层性能提升3-7倍，彻底改变了这一局面。本文将深入解析GroupGEMM的技术原理及其在MoE层优化中的核心作用...

为什么GEMM是深度学习的核心

CV技术指南（微信公众号）

07-17

2133

前言：在之前写的一篇计算机视觉入门路线文章中，我推荐大家在不用任何框架、只使用numpy这种包的情况下，从零实现一个卷积神经网络。其中一个很重要的因素就是在这个过程中大家会了解到卷积过程在底层中是如何优化实现的，其主流的方法就是GEMM。这篇博客比较细致地介绍了什么是GEMM，以及它的优缺点。我大部分时间都在考虑如何让神经网络的深度学习更快、更高效。在实践中，这意味着要关注一个名为GEMM的函数。它是1979年首次创建的BLAS（基本线性代数子程序）库的一部分，直到我开始尝试优化神经网络之前，我从.

深度学习矩阵乘法的终极奥义einsum，结合多个计算框架上的使用

BoCong-Deng的博客

11-09

3231

einsum以一种优雅的方式，表示各种矩阵运算，好处在于你不需要去记和使用计算框架中（TensorFlow|PyTorch|Numpy）点积、外积、转置、矩阵-向量乘法、矩阵-矩阵乘法的函数名字和签名。从某种程度上解决引入不必要的张量变形或转置运算，以及可以省略的中间张量的现象。不仅如此，einsum有时可以编译到高性能代码，事实上，PyTorch最近引入的能够自动生成GPU代码并为特定输入尺寸自动调整代码的张量理解（Tensor Comprehensions）就基于类似einsum的领域特定语言。此外，可

深度学习基础：线性代数本质4——矩阵乘法

WBingJ的博客

03-12

489

两个矩阵相乘的意义就是。

基于矩阵乘法的批量卷积层实现方法

资源摘要信息:"卷积python1"这一资源深入探讨了深度学习中卷积神经网络（CNN）的核心运算——卷积层的底层实现机制，重点聚焦于如何通过矩阵乘法高效实现批处理模式下的卷积操作。该方法广泛应用于现代深度学习框架...

基于Python的矩阵计算与深度学习模型实现

在深度学习中，所有输入数据（如图像、文本、音频）都会被转化为高维张量（即多维矩阵），而模型的权重也以矩阵形式存储。例如，在线性回归任务中，模型表达式为 $ y = XW + b $，其中 $ X $ 是输入特征矩阵（样本数...

MEC —— 优化内存与速度的卷积计算

shuzfan的专栏

08-20

1万+

本次介绍一种内存利用率高且速度较快的卷积计算方法。来自ICML2017, 《MEC: Memory-efficient Convolution for Deep Neural Network》1. 背景工作目前的CNN模型中，全连接层往往在最后一层才会使用。意思也就是说，网络的主体是由卷积层构成的。因此，加快卷积层的计算对于整个网络的性能至关重要。目前，卷积的计算大多采用间接计算的方式，主要有

深度学习学习笔记——线性代数矩阵的乘法运算

热门推荐

yuejich的博客

02-21

1万+

关于矩阵的运算：关于矩阵的乘法运算总结一下矩阵的物理意义矩阵和矩阵相乘的运算的定义：设A是一个m×nm\times nm×n矩阵，B是一个n×sn \times sn×s 矩阵，规定矩阵A和矩阵B的乘积是一个m×sm\times sm×s矩阵C ...

深度学习-矩阵相乘

花开花落，人走茶凉

06-28

1554

假设某公司有4个工厂，每个工厂都有3种产品，销量数据如下：工厂 P1 P2 P3 甲 5 2 4 乙 3 8 2 丙 6 0 4 丁 0 1 6 每种产品的成本利润如下：产品利润成本 P1 2 4 P2 1 3 P3 3 2 则这个公司各个工厂的总成本和总利润为：甲：成本=5x2+2x1+4x3=24 利润=5x4+2x3+4x...

矩阵的卷积操作——卷积神经网络的基础

qq_53256387的博客

12-12

1480

矩阵的卷积操作——卷积神经网络的基础看似高大上的神经网络算法，基础算法其实相当简单！谁都能学会，帮助你理解卷积神经网络！！背景了解 1.卷积指的是两个变量在范围内相乘然后求和的结果。 2.对矩阵进行卷积则是两个矩阵点乘后加和的结果。卷积神经网络 1 . 顾名思义就是加入卷积层的神经网络算法（除此以外还有一个池化层，后续会继续讲解） 2.卷积神经网络的好处在于参数共享，自动提取特征以及平移不变性，保留了矩阵中各参数的空间关系。同时与全连接神经网络相比，权值少，可以实现降维操作。代码实现卷

group-gemm教程

youzjuer的博客

04-17

698

fanshiqing/grouped_gemm: PyTorch bindings for CUTLASS grouped GEMM.（1） git clone https://github.com/fanshiqing/grouped_gemm.git（2） git submodule update --init --recursive（3）python setup.py install

GEMM矩阵相乘与深度学习

weixin_43728590的博客

07-08

5862

GEMM矩阵相乘与深度学习1. GEMM矩阵相乘1.1 GEMM算法基础1.2 GEMM算法优化1.2.1 循环重排充分利用缓存1.2.2 平铺（Tiling）充分利用缓存1.2.3 展开（Unrolling）1.2.4 内存对齐1.2.5 向量化1.2.6 矩阵分块1.2.7 双缓冲2. GEMM与卷积计算2.1 计算卷积的方法2.2 Img2col2.2.1 CNN中张量的存储2.2.2 卷积运算转化为GEMM 1. GEMM矩阵相乘 1.1 GEMM算法基础 GEMM（General Matrix

矩阵乘法实现卷积运算

caip12999203000的博客

08-23

8018

使用矩阵乘法来实现卷积运算

数学基础 -- 卷积与矩阵乘法的区别

sz66cm 学习随笔

08-13

1857

卷积和矩阵乘法确实有不同之处。

CUDA算子优化：矩阵乘GEMM优化(二)

qq_56047026的博客

06-13

2474

A_TILE_ROW_START代表在这个维度为bm*bk的数据块中，当前线程需要搬运的数据的竖向坐标，而A_TILE_COL代表需要搬运的数据的横向坐标。那么我们需要开启（2048/128）*（2048/128）=256个block，每个block里面有（128/8）*（128/8）=256个线程，每个线程需要负责计算C矩阵中8*8=64个元素的结果，每个block负责256*64=16384个元素的结果。在一轮迭代中需要使用bm*bk的数据，为了加快后续的访存，所以需要进行一次转置。

卷积操作中的矩阵乘法（gemm）—— 为什么矩阵乘法是深度学习的核心所在

1. 全连接

3. 卷积操作中的矩阵乘法