Img2Col卷积转矩阵的硬件的计算方式

原创 已于 2023-02-01 09:31:22 修改 · 置顶 · 584 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #神经网络 #cnn

于 2022-09-04 23:13:54 首次发布
本文探讨了在神经网络中，利用具备Tensorcore的加速卡如何显著提升卷积和全链接运算效率，表明这种硬件加速对于主流CNN模型的性能优化至关重要。
部署运行你感兴趣的模型镜像

卷积转GEMM

神经网络90%以上的计算单元都是由卷积和全链接构成的，所以说，一个具有tensor core矩阵乘法单元的加速卡，已经足以加速绝大部分CNN类型的网络了。

结束

您可能感兴趣的与本文相关的镜像

Wan2.2-I2V-A14B

Wan2.2-I2V-A14B

图生视频
Wan2.2

Wan2.2是由通义万相开源高效文本到视频生成模型，是有​50亿参数的轻量级视频生成模型，专为快速内容创作优化。支持480P视频生成，具备优秀的时序连贯性和运动推理能力

极智AI | 一文看懂Img2Col卷积加速算法
极智视界
07-02 6050
本教程详细解释了直接卷积计算与Img2Col卷积加速算法的实现原理。
img2col 卷积优化讲解
NJU phd 在读。
09-28 1527
img2col 是一种实现卷积操作的加速计算策略。它能将卷积操作转化为 GEMM，从而最大化地缩短卷积计算的时间。GEMM 是通用矩阵乘 (General Matrix Multiply) 的英文缩写，其实就是一般意义上的矩阵乘法，数学表达就是 C = A x B。根据上下文语境，GEMM 有时也指实现矩阵乘法的函数接口。为什么要将卷积操作转化为 GEMM 呢？因为线性代数领域已经有非常成熟的计算接口（BLAS，Fortran 语言实现）来高效地实现大型的矩阵乘法，几乎可以做到极限优化。
从零开始手工实现卷积神经网络CNN以及img2col和col2img的实现方法
亲亲Friends的博客
03-31 8495
本文主要实现卷积神经网络（Convolutional Neural Network, CNN）中卷积操作的forward和backward函数。CNN主要包括卷积（Convolution），池化（pooling），全连接（Fully Connected）操作。相信点进来的同学对这些操作的细节已经很熟悉了，不熟悉的同学可以参考这一篇博文（本人看过讲CNN最简单易懂、最好的博文，没有之一）：An In...
15.矩阵运算与img2col方式的卷积
机器人视觉感知
07-23 686
矩阵乘法运算(CABA∈Rm×kB∈Rk×nC∈Rm×nCmn​k1∑K​Amk​Bkn​;mnk∈R矩阵的乘法操作可以写成如下图所示，从上面可以看到使用普通的矩阵乘法运算，其复杂度是On3，这个复杂度相对来说是很高的，当矩阵的维度很大时，运算量会显著增加。矩阵运算作为基础运算，有大量的科学家对其进行研究，试图降低其运算复杂度。以为例，其将矩阵乘法的运算复杂度降低到了Onlog27≈On。
大模型-img2col与Linear to Conv的比较区别
点滴的岁月
06-25 959
卷积的。
项目硬件计算
weixin_30338481的博客
11-27 112
项目硬件计算 某项目计算实例 为了方便计算数据库服务器的造型，我们约定： " 系统同时在线用户数为1500人（U1）； " 平均每个用户每分钟发出2次业务请求（N1）； " 系统发出的业务请求中，更新、查询、统计各占1/3； " 平均每次更新业务产生3个事务（T1）； " 平均每次查询业务产生8个事务（T2）； " 平均每次统计业务产生13个事...
硬件工程师电气参数计算工具
06-13
硬件设计，参数计算辅助工具，包括RF计算工具软件、LC震荡频率计算工具软件、 电阻衰减计算工具软件、 色环电阻查询工具软件、 线绕空心电感计算工具软件。希望对大家有所帮助。
卷积加速算法img2col、Winograd、FFT
qq_56047026的博客
07-16 1421
空间域中矩阵的卷积算子，实际等于频率域中两个矩阵元素相乘。但卷积的方向是相反的。通常情况下，feature的尺寸要比卷积的尺寸大很多，如果对两者进行快速傅里叶变换的话，得出来的两个矩阵大小不一样，不能进行对应位置相乘。为了可以让他们对应位置相乘，必须要对卷积核进行扩充，将其扩充到feature尺寸大小相同。也正是扩充过程，限制了方法的使用，只有当feature尺寸和卷积核尺寸大小差不多的时候，才会采用这种方法。通常有三种卷积方式：full、same、valid。
关于计算硬件的简单介绍
weixin_34378969的博客
04-12 303
计算机硬件一、硬件组成主板 CPU 硬盘 内存 显卡 声卡 网卡 光驱 机箱 显示器 键盘 鼠标 二、主机内部剖析1、CPU 中央处理器（针式和触点式）性能指标：主频、核心数、线程数、缓存主频：CPU内核工作的时钟频率缓存：缓解CPU与内存之间的速度差常见品牌 Intel英特尔 酷睿Core Duo AMD 2、存储设备内存RAM随机访问存储器 特点...
硬件各种公式计算器
DIGUA__的博客
07-05 339
此网站提供多种硬件设计的公式计算器
各种硬件设计计算工具
05-14
内涵各种计算工具，适合硬件开发人员使用，包括超级单片机工具V7.0，电子学常用参数计算器V2.0，阻抗计算器，AES，RSA，RC延时计算，PROPCB，mil与mm转换器
数据中心四大硬件计算技术比拼
weixin_33922670的博客
07-04 768
虽然数据中心的计算能力不能和超算中心(专门承担各种大规模科学计算和工程计算任务，同时拥有强大的数据处理和存储能力的数据中心)相比，但计算能力也是数据中心水平的一个重要体现。以前和现在也有很多数据中心在进行自我介绍的时候，都强调自己拥有多少台计算服务器，实际上想表露的就是自己的计算能力。当然，可以计算的不仅仅是服务器，其它很多设备也都在进行着各种各样数据的...
高性能卷积计算：img2col 原理详解
taoqick的专栏
02-15 6553
在我的上一篇文章「看完这篇我就不信还有人不懂卷积神经网络！」中，有位掘友在评论区留言道：要是能讲讲 img2col 就好了。今天我就安排上了，于是就有了本文。温馨提示：本文需要一些卷积神经网络方面的基础知识，不了解的同学需要先看看上面这篇文章☝。img2col 是一种实现卷积操作的加速计算策略。它能将卷积操作转化为 GEMM，从而最大化地缩短卷积计算的时间。
昇腾AI处理机_学习笔记一：Img2col 卷积加速算法
Zhouzj23的博客
04-12 4538
Img2col 卷积加速算法 文章目录前言一、Img2col是什么？二、CNN中的卷积运算三、Img2col对卷积运算加速 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、Img2col是什么？ Img2col 通过矩阵乘法实现卷积的加速运算的方法，该方法被广泛应用在CPU、GPU等通用计算芯片上。同时在一些特定域结构（Doma.
计算资源的介绍
weixin_45639224的博客
09-14 1858
计算资源的介绍
5乘6用计算机的移位相加计算,[计算机组成原理]—6.计算机的运算方法(详细)
weixin_31306591的博客
07-01 703
[计算机组成原理]—6.计算机的运算方法(详细)[计算机组成原理]—6.计算机的运算方法(详细)文章目录思维导图：课程进度：一、无符号数和有符号数1.无符号数2.有符号数二、数的定点表示和浮点表示1.定点表示2.浮点表示3.定点数和浮点数比较4.举例5.IEEE 754标准三、定点运算1.移位运算2.加法与减法运算3.乘法运算4.除法运算四、浮点四则运算1. 对阶(小介看大介)2.尾数求和3. 规...
深度学习原理详解及Python代码实现
12-07
【为什么要学习这门课程】深度学习框架如TensorFlow和Pytorch掩盖了深度学习底层实现方法，那能否能用Python代码从零实现来学习深度学习原理呢？本课程就为大家提供了这个可能，有助于深刻理解深度学习原理。左手原理、右手代码，双管齐下！本课程详细讲解深度学习原理并进行Python代码实现深度学习网络。课程内容涵盖感知机、多层感知机、卷积神经网络、循环神经网络，并使用Python 3及Numpy、Matplotlib从零实现上述神经网络。本课程还讲述了神经网络的训练方法与实践技巧，且开展了代码实践演示。课程对于核心内容讲解深入细致，如基于计算图理解反向传播算法，并用数学公式推导反向传播算法；另外还讲述了卷积加速方法im2col。【课程收获】本课程力求使学员通过深度学习原理、算法公式及Python代码的对照学习，摆脱框架而掌握深度学习底层实现原理与方法。本课程将给学员分享深度学习的Python实现代码。课程代码通过Jupyter Notebook演示，可在Windows、ubuntu等系统上运行，且不需GPU支持。【优惠说明】 课程正在优惠中！  备注：购课后可加入白勇老师课程学习交流QQ群：957519975【相关课程】学习本课程的前提是会使用Python语言以及Numpy和Matplotlib库。相关课程链接如下：《Python编程的术与道：Python语言入门》https://edu.youkuaiyun.com/course/detail/27845《玩转Numpy计算库》https://edu.youkuaiyun.com/lecturer/board/28656《玩转Matplotlib数据绘图库》https://edu.youkuaiyun.com/lecturer/board/28720【课程内容导图及特色】
一文看懂Img2Col卷积加速算法
piglite的专栏
09-14 2154
本文转自。
卷积神经网络之快速卷积算法(img2col、Winograd、FFT)
热门推荐
qq_43409114的博客
04-10 2万+
前言 最近几天尝试着不用框架写一个卷积神经网络，后来代码写完之后发现运行的速度实在是太慢，分析了一下发现主要的时间都花在了卷积层上。于是查找各种资料，学习了两种现在主流的快速卷积算法，写此文主要记录一下其中的要点，在学习过程中遇到的问题。 FFT 如果学过或者了解过信号的，你肯定肯定，空间域中矩阵的卷积运算，实际上等价于频率域中两个矩阵对应元素相乘，关于怎么进行快速傅里叶变换,我之前的文章已经讲述...
矩阵卷积img2col
最新发布
07-25
### 实现原理 img2col算法是一种将卷积操作转换为矩阵乘法的技术，旨在提高卷积计算的效率。其核心思想是将输入图像（或特征图）转换为一个大的矩阵，其中每个局部感受野（即卷积核覆盖的区域）被展平为一行。这样，卷积操作就可以通过矩阵乘法来实现，从而利用高效的矩阵乘法库（如BLAS）来加速计算。 具体来说，img2col算法通过以下步骤实现： 1. **局部感受野的提取**：对于输入图像中的每一个位置，提取出一个与卷积核大小相同的局部区域。这些区域通常会有重叠，因为卷积核会在输入图像上滑动。 2. **展平操作**：将每个局部感受野展平为一个一维向量，并将这些向量按行排列成一个大的矩阵。这样，每一行对应一个局部感受野。 3. **矩阵乘法**：将卷积核也展平为一个一维向量，并与之前构造的大矩阵进行矩阵乘法运算。这样得到的结果即为卷积操作的输出。 ### 实现步骤 1. **输入准备**：准备好输入图像和卷积核。输入图像通常是一个二维数组，而卷积核是一个二维数组。 2. **局部感受野的提取**：遍历输入图像，提取每个可能的局部感受野。假设输入图像的大小为 $H \times W$，卷积核的大小为 $K \times K$，则每个局部感受野的大小为 $K \times K$。 3. **展平操作**：将每个局部感受野展平为一个一维向量，并将这些向量按行排列成一个大的矩阵。假设输入图像的大小为 $H \times W$，卷积核的大小为 $K \times K$，则输出矩阵的大小为 $(H-K+1) \times (W-K+1)$ 行，每行有 $K \times K$ 个元素。 4. **矩阵乘法**：将卷积核展平为一个一维向量，并与之前构造的大矩阵进行矩阵乘法运算。这样得到的结果即为卷积操作的输出。 5. **重塑结果**：将矩阵乘法的结果重塑为一个二维数组，作为最终的卷积输出。 ### 示例代码 以下是一个简单的Python实现示例，展示了如何使用img2col方法进行卷积操作： ```python import numpy as np def img2col(image, kernel_size, stride=1): # 获取输入图像的尺寸 H, W = image.shape KH, KW = kernel_size, kernel_size # 计算输出矩阵的尺寸 OH = (H - KH) // stride + 1 OW = (W - KW) // stride + 1 # 初始化输出矩阵 col = np.zeros((KH * KW, OH * OW)) # 填充输出矩阵 for y in range(OH): for x in range(OW): # 提取局部感受野 region = image[y*stride:y*stride+KH, x*stride:x*stride+KW] # 展平并存储到输出矩阵中 col[:, y*OW + x] = region.flatten() return col # 示例输入图像 image = np.array([[1, 2, 3, 4], [5, 6, 7, 8], [9, 10, 11, 12], [13, 14, 15, 16]]) # 卷积核大小 kernel_size = 2 stride = 1 # 调用img2col函数 col = img2col(image, kernel_size, stride) # 输出结果 print("img2col输出矩阵：") print(col) ``` ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

papaofdoudou

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值