探秘 Involution：代码优化的新篇章

最新推荐文章于 2024-09-12 08:52:33 发布
最新推荐文章于 2024-09-12 08:52:33 发布
阅读量416 收藏 3
点赞数 4
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gitblog_00021/article/details/138178673

探秘 Involution：代码优化的新篇章

involution[CVPR 2021] Involution: Inverting the Inherence of Convolution for Visual Recognition, a brand new neural operator项目地址:https://gitcode.com/gh_mirrors/in/involution

是一个由开发者 d-li14 创建的开源项目，旨在提供一种新的代码优化策略。该项目的核心是通过“内卷”（Involution）的概念，让代码在保持功能不变的前提下，变得更加高效和简洁。

项目简介

"内卷" 这个术语在社会学中通常指的是过度竞争导致的进步停滞，而在编程领域，Involution 提出了一种新颖的解读：通过智能地重写和重构代码，使得程序在性能上得到提升，同时也增强了代码的可读性和维护性。

技术分析

Involution 使用现代编译器技术和静态分析工具，对输入的源代码进行深度扫描。它能够识别出常见的代码模式，并提出优化建议或者直接自动执行优化。例如，它可以识别并消除冗余计算、改善循环结构，甚至运用函数式编程的思想简化控制流等。

项目采用了模块化设计，各个优化模块可以独立工作，也可以协同完成更复杂的优化任务。此外，Involution 还支持自定义规则和插件，允许开发人员根据自己的项目需求定制优化策略。

应用场景

  • 代码审查：Involution 可以作为代码质量检查工具，帮助开发者发现潜在的性能瓶颈。
  • 自动化重构：在大型项目中，手动重构可能会耗时且容易出错。Involution 能够自动化这一过程，提高效率。
  • 教育与学习：对于初学者来说，观察 Involution 如何优化代码是一种很好的学习方式，可以理解最佳实践和优化技巧。

特点

  1. 智能化：基于机器学习的算法，能自我学习和适应不同的编码风格和优化目标。
  2. 高度可配置：用户可以根据项目需要，选择启用或禁用特定的优化规则。
  3. 跨语言支持：目前，Involution 已经支持包括 Python, Java 和 C++ 在内的多种主流编程语言，未来计划扩展更多的语言支持。
  4. 社区驱动：开放源码，欢迎社区贡献和反馈，不断改进优化策略。

结语

Involution 是一款创新的代码优化工具，不仅提高了代码的运行效率，也提升了代码的可读性和维护性。无论你是经验丰富的开发者还是编程新手，都可以尝试将 Involution 引入到你的开发流程中，享受它带来的便利和效率。加入 Involution 的社区，让我们一起推动代码优化的新进程！

involution[CVPR 2021] Involution: Inverting the Inherence of Convolution for Visual Recognition, a brand new neural operator项目地址:https://gitcode.com/gh_mirrors/in/involution

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

改进YOLO系列 | CVPR 2021 | Involution：超越convolution和self-attention的神经网络算子
weixin_39818775的博客
06-17 1009
Involuton是CVPR 2021上提出的新型神经网络算子，旨在超越卷积和自注意力，提供更高效、更具表达力的特征提取能力。Involution核心的第一步是将卷积核分解为多个核点。# 将卷积核分解为多个核点kernel_points = kernel.view(-1, 1, 1, 1) # 将卷积核展开为一维向量Involution使用注意力机制对核点进行加权融合。# 计算注意力权重attention = torch.bmm(q, k.transpose(0, 1)) # 计算注意力矩阵。
involution.pytorch:使用einops https的Involution的PyTorch实现
03-25
involution.pytorch（） 一个PyTorch实现使用过密的 对合的非官方pytorch实现。 官方实现可以在找到。 特征 该层可以处理任意输入和输出通道，内核大小，步幅和减速比。 但是，输入通道应按组划分。 要求 pytorch >= 1.4.0 einops >= 0.3.0 用法 一个例子： >>> import torch >>> from involution import Involution >>> >>> x = torch.rand(2,8,5,5) >>> i = Involution(in_channels=8, out_channels=4, groups=4, kernel_size=3, stride=2, reduction_ratio=2) >>> i(x).size () torch.Size([2, 4, 3, 3]) 去做 Ima
Involution代码
Beryl的博客
06-23 1058
github原址https://github.com/d-li14/involution/blob/21c3158fcbb4ecda8ed4626fcae8b01be511a598/cls/mmcls/models/utils/involution_naive.py#L5 之后会有相关解读 class involution(nn.Module): def __init__(self, channels, kernel_siz
Involution2d 模型代码
suprem_Gfox的博客
04-02 340
class Involution2d(nn.Module): """ This class implements the 2d involution proposed in: https://arxiv.org/pdf/2103.06255.pdf """ def __init__(self, in_channels: int, out_channels: int,
Involution 笔记：
Squid87的博客
06-03 1324
Involution 个人理解 ​ 传统卷积具有 ： ​ ①空间不变性：卷积核共享。能有效地节省模型参数，且能维护平移的等变性。由于不能引入过多的参数，所以采用比较小的卷积核，但是小的卷积核（如3*3）不能获得广的感受野 （因此involution更容易检测出大物体） ​ ② 通道特异性：能在不同的通道中包含不同的语义信息，在许多成功的深度神经网络上表现出比较多的冗余性 ​ 原本卷积核需要的参数数量 = C0（输入通道）×Ci（输出通道）×K×K 所以传统卷积比较难去得到长距离的感知，所以提出invo
involution:[CVPR 2021]内卷
03-13
内卷化 如“对内在性”（CVPR'21）中所述的神经算子的正式实现 ，，，，，朱磊，， TL; 博士involution是一种通用的神经元原语，可用于各种视觉任务上的各种深度学习模型。 involution在设计中架起了convolution与self-attention桥梁，同时比convolution更有效，更有效，而形式上则比self-attention更简单。 入门 该存储库完全基于工具包构建。 对于每个单独的任务，config和model文件分别遵循与 ， 和相同的目录组织，因此只需将它们复制并粘贴到相应的位置即可上手。 例如，在评估检测器方面 git clone https://github.com/open-mmlab/mmdetection # and install # copy model files cp det/mmdet/models/backbones/ *
CVPR 2021 Involution: Inverting the Inherence of Convolution for Visual Recognition
smile909的博客
03-26 2971
动机 卷积操作具有两个显著特性，即spatial-agnostic和channel-specific。 spatial-agnostic：图像所有位置都使用同一个卷积核，实现了平移不变性。但它剥夺了卷积核在不同空间位置采用不同视觉模式的能力，从而限制了卷积核提取特征的的能力。此外，它还限制了卷积的感受野，对识别小目标或者模糊图像构成了挑战。 channel-specific：每个channel都提取不同类型的特征，产生了数据冗余。这使得卷积核对于不同通道的灵活性受到限制。 方法 提出了Invo
《Involution：Inverting the Inherence of Convolution for Visual Recognition》论文笔记
m_buddy的博客
07-19 823
参考代码：involution 1. 概述 导读：CNN操作已经被广泛使CV领域，其具有空间无关性（spatial-agnostic）和通道特异性（channel-specific），前一个性质来源于在空间尺度上共享卷积参数，后一个性质来自于输出通道维度上的参数各不相同。在这篇文章中提出了一种性质与之相反的操作involution，通过学习的方式去得到卷积参数，之后经过维度变换之后与unfold之后的特征进行multiply-add，从而得到最后的输出结果，这里用到的multiply-add操作可以看作是
Great_involution_test
05-06
大数相乘的分治算法和笔算算法，算法的消耗时间在100,000数时为50s左右，速度一般
Involution 开源项目使用教程
最新发布
gitblog_00812的博客
09-12 439
Involution 开源项目使用教程 Involution PyTorch reimplementation of the paper "Involution: Inverting the Inherence of Convolution for Visual Recognition" (2D and 3D Invol...
CVPR 2021 | 真内卷！Involution：构建新一代视觉识别网络
阿木寺的博客
03-12 9554
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：AI人工智能初学者 | 作者：ChaucerGInvolution: Inverting the In...
[YOLOv7/YOLOv5系列算法改进NO.20]Involution新神经网络算子引入网络
m0_70388905的博客
07-16 3936
为了克服这些经典卷积所存在的这些局限性，所以本文作者提出了involution这个概念在involution运算过程中，内卷具有空间特定性和通道不可知“spatial-specificandchannel-agnostic”（与convolution相反），内卷核在空间范围上是不同的，但在通道上是共享的，作者还通过在通道维数上共享involution核来减少核的冗余。通过逆向设计方案，本文提出的。与上述标准卷积或深度卷积相比，卷积核H旨在包含空间和通道域中具有逆特征的变换，因此得名。......
YOLOv9最新改进系列：Involution新卷积网络算子融合于YOLOv9网络，更大的空间范围中总结上下文信息，助力YOLOv9检测性能再上新台阶！
B站 Ai学术叫叫兽的文案地
04-15 1270
YOLOv9最新改进系列：Involution新卷积网络算子融合于YOLOv9网络，更大的空间范围中总结上下文信息，助力YOLOv9检测性能再上新台阶！
开源项目 `involution` 使用教程
gitblog_00271的博客
08-10 286
开源项目 involution 使用教程 involution[CVPR 2021] Involution: Inverting the Inherence of Convolution for Visual Recognition, a brand new neural operator项目地址:https://gitcode.com/gh_mirrors/in/involution 1. 项...
involution理解
xys430381_1的专栏
12-22 2750
最好的参考来自论文作者的知乎：CVPR 2021 | involution：超越convolution和self-attention的神经网络新算子 其他餐卡： https://zhuanlan.zhihu.com/p/400402288 https://zhuanlan.zhihu.com/p/356960359 https://blog.youkuaiyun.com/P_LarT/article/details/115426891 引言 CNN的空间不变性 (spatial-agnostic)和通道特异性 (cha
基于Pytorch的Conv和Involution实现和对比
不定时分享，互相学习，共同进步
10-09 308
本文对Conv和Involution进行简单介绍，并基于pytorch进行实现和速度对比，为后期自己算法的改进优化提供一定基础。
浅谈Involution与Volo
weixin_43788575的博客
02-22 771
近期阅读了两篇文章, 这两篇文章刚开始的时候给我感觉十分相似。我一度认为VOLO只是将Involution的思想套在了self-attention的框架里，直到这些天看了很多的解读以及自己不断思考，才体会到VOLO相较于Involution思想的不同，以下只是自己的见解，如有错误，请批评指正！ 文章列表 Involution: Inverting the Inherence of Convolution for Visual Recognition（CVPR2021) 下载链接：https://arxiv
一点就分享系列（实践篇3-中篇）— 虽迟但到！全网首发？yolov5之“baseline修改小结“+“CV领域展开-Involution&&transformer&&cnn”
热门推荐
啥都会一点的小程的博客
06-04 1万+
一点就分享系列（实践篇3-中篇）— 修改yolov5之”上篇心得和问题总结"||“自注意力机制的插件案例”||“大道至简-CNN模型理解” 虽迟但到， 首先在上篇yolov5主要基于注意力机制和特征融合的改进中，我自己也说到了提升不大或者说带来那1%的提升增加的额外算力没什么意义，这也不是上篇的初衷，上篇本质是希望大家了解yolov5的精髓并且具备动手修改网络结构以及改进的能力，和对模型的一些深度思考哈.在此基础上，我今天抛出的东西仍旧是开放性的！希望大家都能动手动脑去思考去理解，互相学习，互相交流，由于个
Involution：空间不共享？可完全替代卷积的高性能算子 | CVPR 2021
晓飞的算法工程笔记
06-20 829
论文: Involution: Inverting the Inherence of Convolution for Visual Recognition  论文认为卷积操作有三个问题：  为了解决上述的问题，论文提出了与卷积有相反属性的操作involution，核参数在空间上面特异，而在通道上面共享，主要有以下两个优点：  一组involution核可表示为H∈RH×W×K×K×G\mathcal{H}\in \mathbb{R}^{H\times W\times K\times K\times G}H∈
involution: inverting the inherence of convolution for visual recognition
06-28
### 回答1： involution是一种用于视觉识别的算法，它反转了卷积的内在特性。它通过将卷积操作中的滤波器权重转换为可学习的点积操作，从而提高了模型的效率和准确性。involution算法在计算机视觉领域中具有广泛的应用，特别是在目标检测和图像分割等任务中。 ### 回答2： involution是在计算机视觉领域中概念比较新的一种方法。它是对传统卷积算法的一种逆运算，用来增强卷积神经网络中的非线性建模能力。involution的核心思想是在特征图的每个位置上利用可学习的感受野（receptive field）来进行特征融合，使得网络可以更好地捕捉目标之间的全局关系。 举个例子，我们在计算机视觉中常用的卷积层中，每一个卷积核通常只能对应一个大小固定的感受野。而involution层通过在每个位置上学习一个可变大小的感受野来取代卷积核，从而增强了网络对于目标间距离的捕捉。同时，involution层不仅可以被添加到普通的卷积神经网络中，还可以嵌入到注意力机制、自注意力机制等模型中，提高了模型的表达能力和性能。 相对于传统的卷积层，involution层有多方面的优点。首先，可变感受野大小的应用让involution能够处理更加复杂的视觉场景。其次，involution能够更好地捕捉目标之间的全局关系，对于跨越较大距离的目标关系识别和图像分割等任务非常有效。最后，involution的结构相对简单，不需要过多的计算与存储，可以大幅度减少网络的训练时间和计算资源占用，同时保证优秀的性能表现。 总之，involution可以被看作是一种高效而又强大的计算机视觉算法，对于面对复杂的图像场景和目标识别任务的解决具有重要的意义。 ### 回答3： Involution是近年来计算机视觉领域中一个新的概念，是一种反转卷积（convolution）的方法，可以更高效地进行视觉识别。所谓卷积，即是将一个滤波器与输入数据的每一个小区域进行乘法运算，然后将所有乘积相加得到一个数值作为输出。而在深度学习中，我们通常使用卷积神经网络来对输入数据进行分类或识别。 然而，在深度学习中，卷积处理是一件十分耗费计算资源的任务。特别是当我们需要处理高分辨率的图像时，其复杂度更是极高。因此，为了提高卷积神经网络的效率，Involution便应运而生。 那么，Involution到底是如何实现反转卷积的呢？其实，它的实现方法非常简单。它通过将输入数据划分成不同的区域，然后在每个小区域内执行局部变换操作，最后再将每个小区域的结果组合成一个输出。这种做法可以使得计算量大幅度降低，同时还可以减少运算中的参数数量。而且，按照这种方法执行的Involution操作还可以在不同分辨率之间进行协作，进一步提高神经网络的效率和准确率。 总之，Involution通过将输入数据分解成小块，实现了卷积操作的反转，从而实现了对图像的高效处理，特别是对于大尺度的图像和超高分辨率的图像，效果是非常显著的。其简单而有效的原理，有望成为未来深度学习领域的重要研究方向之一。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

邢郁勇Alda

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值