79、avx2 向量指令集优化卷积运算

最新推荐文章于 2025-04-23 21:08:14 发布
最新推荐文章于 2025-04-23 21:08:14 发布
阅读量348 收藏
点赞数
分类专栏： CV视觉算法入门与调优 文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dongtuoc/article/details/135736420
版权
本文探讨如何使用AVX2向量指令集提升卷积运算的效率，重点在于向量乘法和累加操作。通过实例代码展示了如何利用__mm256_mul_ps指令进行向量乘法，并解释了在处理不同channel维度时的循环计算方法，以适应卷积运算的需求。提供了优化后的卷积和全连接层代码链接。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

上一节 介绍了 avx2 向量指令集中的 load/store 操作，本节介绍如何使用 avx2 的向量指令集来实现乘累加运算。

因为我们实战中用到的 resnet50 神经网络中，卷积运算在整个模型中的比例占据是相当高，而卷积运算的核心计算就是乘累加计算。因此，只要将最核心的乘累加计算效率提高，那么整个模型的性能就会有大幅度的提高。

这一节在介绍向量寄存器的时候，举了一个例子来说明向量加法的计算，向量乘法和向量加法一样，下面我们就用实际的代码来展示，如何完成向量乘法的计算。

avx2 完成向量乘法

完成向量乘法的运算过程也很简单：

首先利用load指令将数据从内存中 load 到向量寄存器中；

了解本专栏 订阅专栏 解锁全文 超级会员免费看
76、avx2 向量指令集介绍
AI与算法都要通俗易懂
01-16 2606
我们介绍了计算向量化的概念，简单来说，计算向量化就是把对数据的计算，从循环计算的方式，优化为使用一条指令来完成，起到性能优化的目的。接下来简单介绍一个在绝大部分电脑 CPU 上都有的向量指令集，后面我们也会用这个指令集来优化卷积运算，那就是 avx2 指令集。
75、avx2 什么是计算向量化
AI与算法都要通俗易懂
01-16 197
接下来的几篇文章，会利用向量化指令来加速神经网络的计算，先学习一下什么是计算向量化。计算的向量化是一种对计算的优化方法，简单来说，就是让计算机在计算数据时，同一时间计算多个数据，而不是一个一个的循环计算，这样可以大幅提高计算的效率。计算向量化的概念，其实和线性代数中的向量运算有点类似。在线性代数中，向量运算比如向量点积，做的一整个向量的运算，映射到计算机来执行这个运算时，则依赖于计算机底层硬件对于向量指令的支持来实现的。
AVX2指令
fyire的博客
10-18 6844
一、数据类型 SSE指令有3种数据类型，分别为__m256、__m256i、__m256d。每一种类型都以"__"+"m"+“vector的位长度”构成。 __m256 包含8个float类型数据的向量 __m256i 包含若干个整型数据的向量，如char、short、int、unsigned long long等。例如256位的vector可以32个char、16个short、8个int，这些整型既可以是有符号的也可以是无符号的。 ...
关于指令集AVX AVX2学习笔记
m0_55063425的博客
01-08 8555
Intel指令集，适用于并行计算代码优化。Amd CPU也支持
探索高效计算：AVX / AVX2 指令集示例代码
gitblog_00079的博客
06-24 823
探索高效计算：AVX / AVX2 指令集示例代码 项目地址:https://gitcode.com/gh_mirrors/avx/AVX-AVX2-Example-Code 对于高性能计算和并行处理的爱好者而言，AMD高级向量扩展（AVX）和其后续版本AVX2，是提升CPU效率的关键工具。这个开源项目提供了一系列精心编写的示例代码，旨在帮助开发者深入了解和运用这些强大的指令集。以下是关于这个项目...
使用avx2指令集实现的strlen函数
12-25
使用AVX2指令集实现的strlen函数，一般情况下较新的CPU都支持avx2指令集，使用avx2指令集可以加快程序的运行速度
Tensorflow不支持AVX2指令集的解决方法
09-18
标题中的“Tensorflow不支持AVX2指令集的解决方法”指的是在运行Tensorflow时，如果计算机的CPU支持AVX2指令集，但所安装的Tensorflow版本并未编译为利用这种指令集优化，会导致性能下降并且可能会出现警告信息。AVX...
【KWDB 创作者计划】_深度学习篇---向量指令集
最新发布
道阻且长，行则将至。
04-23 1153
向量指令集（如SIMD：Single Instruction, Multiple Data）通过并行化数据计算显著加速机器学习任务。其核心原理是利用硬件层面的并行性，在单个时钟周期内对多个数据执行相同操作。SIMD：单指令流多数据流。一个控制器控制多个处理器，同时对一组数据（数据向量）进行处理中的每一个分别执行相同的操作，实现空间上的并行的技术。
AVX2指令集浮点乘法性能分析
concyclics的博客
04-28 2万+
AVX2指令集浮点乘法性能分析一、AVX2指令集介绍二、代码实现0. 数据生成1. 普通连乘2. AVX2指令集乘法：单精度浮点(float)3. AVX2指令集乘法：双精度浮点(double)三、性能测试测试环境计时方式测试内容进行性能测试第一次测试第二次测试四、总结个人猜测原因： 一、AVX2指令集介绍 AVX2是SIMD(单指令多数据流)指令集，支持在一个指令周期内同时对256位内存进行操作。包含乘法，加法，位运算等功能。下附Intel官网使用文档。 Intel® Intrinsics Guide 我
AVX/AVX2、内存对齐学习
Vicczyq
05-08 4205
AVX指令函数查询——Linux系统判断自己电脑CPU是否支持AVX和AVX2，可以用lscpu命令查询Windows系统可以用CPU-Z工具进行查询cpp文件需要加上头文件在编译时需要添加后缀-mavx -mavx2。
使用avx2 指令集加速向量算法运算
qianbo042311的博客
04-13 1823
我们使用向量加，为什么函数是0 到 8 的计算，因为avx2 寄存器为256位，同时设置启动增强指令集猜猜以上代码会怎么样，如果是在debug下，明显avx2 指令集会快，在release下，普通代码立刻甩开了avx2指令，所以一定要判断数据量，下面重写代码来测试。
【pytorch】AVX量化
x66ccff
04-21 1263
与此同时，量化可以显著减少模型的计算和存储需求，从而使得模型可以在较小的内存和处理能力下运行，并加速模型的推理速度，因此，量化已经成为了深度学习优化的重要手段之一，被广泛应用于各种类型的设备和场景中。需要注意的是，精度下降的程度可能会受到数据集和任务的影响，因此在实际应用中，需要根据具体的场景进行实验和验证，以确定合适的量化位数和策略，并对量化后的模型进行适当的微调和优化，以获得最优的性能和精度。在一些量化后微调的实验中，可以看到对于ViT这样的模型，通过8位量化，可以将模型精度的下降控制在1%以内。
Intel 内部指令 --- AVX和AVX2学习笔记
sinat_22510827的博客
06-21 5449
AVX编程基础 数据类型 数据类型 描述 __m128 包含4个float类型数字的向量 __m128d 包含2个double类型数字的向量 __m128i 包含若干个整型数字的向量 __m256 包含8个float类型数字的向量 __m256d 包含4个double类型数字的向量 __m256i 包含若干个整型数字的向量 每一种类型，从2个下划线开头，接一个m，然后是vector的位长度。 如果向量类型是以d结束的，那么向量里面是double类型的数字。如果没有后
c语言 4x4矩阵乘法,c - 高效的4x4矩阵乘法（C vs汇编） - 堆栈内存溢出
weixin_31342203的博客
05-17 1779
上面的Sandy Bridge扩展了指令集以支持8元素向量算法。 考虑这个实现。struct MATRIX {union {float f[4][4];__m128 m[4];__m256 n[2];};};MATRIX myMultiply(MATRIX M1, MATRIX M2) {// Perform a 4x4 matrix multiply by a 4x4 matrix// Be...
Intel 的AVX2指令集解读
热门推荐
战斗蜗牛的专栏
08-06 5万+
在Intel Sandy Bridge微架构中，Intel引入了256位SIMD扩展AVX，这套指令集在兼容原MMX、SSE、SSE2对128位整点SIMD支持的基础上，把支持的总向量数据宽度扩展成了256位。新增了若干条256位浮点SIMD指令。 昨天，Intel刚刚发布了AVX2指令集，这套指令集在AVX基础上做了扩展，不过要在2013年发布的Haswell处理器上才能支持。参考1给出了
编解码-性能优化-SIMD
csdn546229768的博客
01-17 2209
SIMD(Single Instruction Multiple Data)是CPU硬件层面支持的用于对数据进行并行操作。原理：采用一个控制器来控制多个处理器，同时对一组数据（又称“数据向量”）中的每一个分别执行相同的操作从而实现空间上的并行性的技术它的指令集存在如下：X86下的实现为MMXSSEAVX指令集ARM下的实现为NEON指令集。
AVX指令集矩阵乘向量算法
DCD_LIN的博客
03-09 3857
#include #include #include void matmul_avx(const float *x, const float **w,float *y,const int col,const int row){ const int col_reduced_8 = col - col % 8; float scratchpad[8]; __m256
SIMD AVX2 向量计算
ystraw - Come on！！！
11-23 436
【代码】SIMD AVX2 向量计算。
【AI系统】指令和存储优化
ZOMI酱
12-03 816
除了应用极广的循环优化，在 AI 编译器底层还存在指令和存储这两种不同优化。
支持AVX2指令集是什么意思？
02-11
### AVX2指令集的功能和应用场景 #### 功能概述 AVX2（Advanced Vector Extensions 2）作为Intel处理器架构的一部分扩展，显著增强了SIMD（单指令多数据流）操作的能力。相较于前代技术，AVX2引入了更广泛的数据处理能力，特别是对于整数类型的向量运算支持得到了极大提升[^1]。 - **增强型矢量化操作**：能够在一个周期内完成更多数量级的操作，比如可以一次性处理8个32位整数或4个64位浮点数。 - **Gather/Scatter指令的支持**：允许非连续内存位置的数据加载与存储，这对于某些特定应用领域非常重要，如稀疏矩阵乘法、图像处理中的查找表算法等[^3]。 #### 应用场景举例 ##### 图像处理 利用AVX2提供的强大并行计算能力和新加入的`_mm256_i32gather_epi32()`这类聚集指令，在执行诸如色彩空间转换、边缘检测以及滤波器卷积等任务时效率更高。例如，在实现基于直方图均衡化的亮度调整过程中，通过预先构建好映射关系表格，再借助上述提到的新特性快速定位所需数值，从而大幅减少循环迭代次数，提高程序运行速度。 ##### 科学计算 当涉及到大规模线性代数求解或者物理仿真模拟等问题时，往往存在大量重复性的密集型算术逻辑单元(ALU)工作负载。此时采用AVX2编写的相关库函数可有效降低CPU核心间通信开销的同时充分利用现代多核平台的优势来加速整个流程。典型案例如BLAS(LAPACK)底层优化版本中就广泛应用到了此类高级别的硬件特征[^2]。 ```cpp // C++代码片段展示如何使用AVX2进行简单的加法运算 #include <immintrin.h> void add_vectors_avx2(float* a, float* b, float* c, int n){ __m256 va, vb, vc; for(int i=0; i<n;i+=8){ // 每次处理8个float类型元素 va = _mm256_loadu_ps(&a[i]); // 加载输入数组A的一组值到寄存器va vb = _mm256_loadu_ps(&b[i]); // 同样地加载B的一组值给vb vc = _mm256_add_ps(va,vb); // 执行两个向量相加得到vc _mm256_storeu_ps(&c[i],vc); // 将结果保存回目标数组C对应的位置 } } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董董灿是个攻城狮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值