Google综述:细数Transformer模型的17大高效变种

《论文阅读》AXIAL ATTENTION IN MULTIDIMENSIONAL TRANSFORMERS 留个笔记自用 AXIAL ATTENTION IN MULTIDIMENSIONAL TRANSFORMERS 做什么 点云的概念:点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合,在获取物体表面每个采样点的空间坐标后,得到的是点的集合,称之为“点云”(Point Cloud)。 点包含了丰富的信息,包括三维坐标X,Y,Z、颜色、分类值、强度值、时间等等,不一一列举。 一般的3D点云都是使用深度传感器扫描得到的,可以简单理解为相比2维点,点云是3D的采样 做了什么 这里又是一种trans 阅读详情

作者 | 黄浴

来源 | 知乎


在NLP领域transformer已经是成功地取代了RNN(LSTM/GRU),在CV领域也出现了应用,比如目标检测和图像加注,还有RL领域。这是一篇谷歌2020年9月份在arXiv发表的综述论文 “Efficient Transformers: A Survey“,值得读读。

文章主要针对一类X-former模型,例如Reformer, Linformer, Performer, Longformer为例,这些对原版Transformer做了改进,提高了其计算和内存的效率。

论文题目:

Efficient Transformers: A Survey

论文链接:

https://arxiv.org/pdf/2009.06732

Transformer回顾

self-attention是Transformer模型的关键定义特征。该机制可以看作是类似graph的归纳偏差(inductive bias),它可将序列中的所有token与基于相关的pooling操作相联系。self-attention 的一个众所周知的问题是quadratic级别的时间和内存复杂度,阻碍许多设置的模型规模化(scalability)。所以,最近提出了解决该问题的大量变型,这里将这类模型称为efficient Transformers。

efficient self-attention模型在长序列建模的应用中至关重要,例如文档、图像和视频通常都由相对大量的像素或token组成。因此,处理长序列的效率对于Transformers的广泛采用至关重要。

如图是一个标准的Transformer架构:

Transformer是通过将Transformer blocks彼此堆叠而形成的多层体系结构。Transformer blocks的特点包括multi-head self-attention机制、positionwise前馈网络(feed-forward network)、层归一化(LN)模块和残差连接器(residual connectors)。

Transformer模型的输入通常是形状为BxN的张量,其中B是批处理(batch)大小,N是序列长度。该输入先穿过一个嵌入层,该层将每个one-hot token表示转换为d-维的嵌入向量,即BxNxd。然后,新张量与位置编码相加,并通过一个multi-head self-attention模块。

位置编码可以是正弦输入形式或者可训练的嵌入方式。multi-head self-attention模块的输入和输出通过残差连接器和层归一化层(LN)模块连接。然后,将multi-head self-attention模块的输出传递到两层前馈网络(FFN),类似于以残差方式连接层归一化(LN)模块。

带层归一化模块的残差连接器定义为:

而在Multi-Head Self-Attention的单个head操作定义为:

Attention矩阵A = QK^T主要负责学习序列中token之间的校准分。这会推动self-attention的自我校准过程,从而token学习彼此之间的聚类。不过,这个矩阵计算是一个效率的瓶颈。

FFN的层操作定义为:

这样整个Transformer block的操作定义是:

下面要注意的是Transformer模块使用方式的不同。Transformer主要使用方式包括:(1)编码器(例如用于分类),(2)解码器(例如用于语言建模)和(3)编码器-解码器(例如用于机器翻译)。

在编码器-解码器模式下,通常有多个multi-head self-attention模块,包括编码器和解码器中的标准self-attention,以及允许解码器利用来自解码器的信息的编码器-解码器cross-attention。这影响了self-attention机制的设计。

在编码器模式中,没有限制或self-attention机制的约束必须是因果方式,即仅取决于现在和过去的token。

在编码器-解码器设置中,编码器和编码器-解码器cross-attention可能是无因果方式,但解码器的self attention必须是因果方式。设计有效的self attention机制,需要支持AR(auto-regressive)解码的因果关系,这可能是一个普遍的限制因素。

Efficient Transformers

Efficient Transformers的分类如图,其对应的方法在近两年(2018-2020)发表的时间、复杂度和类别见表:

注:FP = Fixed Patterns/Combinations of Fixed Patterns, M = Memory, LP = Learnable Pattern, LR = Low Rank, KR = Kernel, RC = Recurrence.

除segment-based recurrence外,大多数模型的主要目标是对attention matrix做quadratic级别开销近似。每种方法都将稀疏的概念应用于原密集的attention机制。

Fixed patterns(FP):self attention的最早改进是将视场限制为固定的、预定义模式(例如局部窗和固定步幅的块模式)来简化attention matrix。

  • Blockwise Patterns这种技术在实践中最简单的示例是blockwise(或chunking)范式,将输入序列分为固定块,考虑局部接受野(local receptive fields)块。这样的示例包括逐块和/或局部attention。将输入序列分解为块可将复杂度从N^2降低到B^2(块大小),且B << N,从而显著降低了开销。这些blockwise或chunking的方法可作为许多更复杂模型的基础。

  • Strided patterns是另一种方法,即仅按固定间隔参与。诸如Sparse Transformer和/或Longformer之类的模型,采用“跨越式”或“膨胀式“视窗。

  • Compressed Patterns是另一条进攻线,使用一些合并运算对序列长度进行下采样,使其成为固定模式的一种形式。例如,Compressed Attention使用跨步卷积有效减少序列长度。

Combination of Patterns (CP):其关键点是通过组合两个或多个不同的访问模式来提高覆盖范围。例如,Sparse Transformer 将其一半的头部分配给模式,结合strided 和 local attention。类似地,Axial Transformer 在给定高维张量作为输入的情况下,沿着输入张量的单轴应用一系列的self attention计算。本质上,模式组合以固定模式相同的方式降低了内存的复杂度。但是,不同之处在于,多模式的聚集和组合改善了self attention机制的总覆盖范围。

Learnable Patterns (LP):对预定FP模式的扩展即可学习。毫不奇怪,使用可学习模式的模型旨在数据驱动的方式学习访问模式。LP的关键是确定token相关性,将token分配给buckets 或者clusters。值得注意的是,Reformer引入了基于哈希的相似性度量,有效地将token聚类为chunks。类似地,Routing Transformer在token上采用在线的k-means聚类。同时,Sinkhorn排序网络(Sorting Network)通过学习对输入序列的blocks排序来显露attention weight的sparsity。所有这些模型中,相似性函数与网络的其它部分一起进行端到端训练。LP的关键点仍然是利用固定模式(chunked patterns)。但是,此类方法学会对输入token进行排序/聚类,即保持FP方法效率优势的同时,得到更优的序列全局视图。

Memory:另一种表现突出的方法,用一个side memory模块,可以一次访问多个token。通用形式是全局存储器,能够访问整个序列。全局token充当记忆的一种形式,从输入序列的token中学习聚集。这是最早在Set Transformers中引入的inducing points方法。这些参数通常被解释为“memory”,并用作将来处理的临时上下文信息。这可以看作是parameter attention的一种形式。全局内存也用于ETC和Longformer。借着数量有限的内存(或者inducing points),对输入序列采用类似pooling操作进行压缩,这是设计有效的self attention模块时可以使用的技巧。

Low-Rank 方法:另一种新兴技术,利用self attention矩阵的低秩近似来提高效率。关键点是假设NxN矩阵的低秩结构。Linformer是此技术的经典示例,将keys和values的长度维投影到较低维的表示形式(N-》 k)。不难发现,由于NxN矩阵现在已分解为Nxk,因此该方法改善了self attention的存储复杂性问题。

Kernels:另一个最近流行的提高Transformers效率的方法,通过核化(kernelization)查看attention机制。核的使用使self attention机制能够进行巧妙的数学重写,避免显式地计算NxN矩阵。由于核是attention矩阵的一种近似形式,因此也可以视为Low Rank方法的一种。

Recurrence:blockwise方法的直接扩展是通过递归连接这些块。Transformer-XL提出了一种segment-level 递归机制,该机制将多个segment和block连接起来。从某种意义上说,这些模型可以看作是FP模型。

内存和计算复杂度分析

该综述对以下17个方法进行了内存和计算复杂度分析,即

1、Memory Compressed Transformer:“Generating wikipedia by summarizing long sequences” 如图

2、 Image Transformer:“Image Transformer” 如图

3、 Set Transformer:“Set transformer: A framework for attention-based permutation-invariant neural networks“ 如图

4、 Sparse Transformer:“Generating long sequences with sparse transformers”如图

5、Axial Transformer:“Axial attention in multidimensional transformers.“如图


6、 Longformer:“Longformer: The long-document transformer“如图

7、 Extended Transformer Construction (ETC):“Etc: Encoding long and structured data in transformers“如图

8、 BigBird:“Big Bird: Transformers for Longer Sequences“如图

9、 Routing Transformer:“Efficient content-based sparse attention with routing transformers“如图

10、 Reformer:“Reformer: The efficient transformer“如图

11、 Sparse Sinkhorn Transformer:“Sparse sinkhorn attention“如图

12、 Linformer:“Hat: Hardware-aware transformers for efficient natural language processing“如图

13、 Linear Transformer:“Transformers are rnns: Fast autoregressive transformers with linear attention“ 如图是其算法伪代码

14、 Performer:“Masked language modeling for proteins via linearly scalable long-context transformers“ 如图是Fast Attention via Orthogonal Random Features (FAVOR)的算法伪代码

15、 Synthesizer:“Synthesizer: Rethinking self-attention in transformer models.“如图

16、 Transformer-XL:“Transformer-xl: Attentive language models beyond a fixed-length context“如图

17、 Compressive Transformers:“Compressive transformers for long-range sequence modelling“如图

评估基准

尽管该领域忙于使用新的Transformer模型,但几乎没有一种简单的方法可以将这些模型比较。许多研究论文选择自己的基准来展示所提出模型的功能。再加上不同的超参数设置(例如模型大小和配置),可能难以正确地找到性能提升的原因。此外,一些论文将其与预训练相提并论,使区分这些不同模型相对性能的难度更大。考虑使用哪个基本高效的Transformer block,仍然是一个谜。

一方面,有多种模型集中在generative modeling,展示了提出的Transformer单元在序列AR(auto-regressive)建模上的能力。为此,Sparse Transformers, Adaptive Transformers, Routing Transformers 和 Reformers主要集中在generative modeling任务。这些基准通常涉及在诸如Wikitext、enwik8和/或ImageNet / CIFAR之类的数据集上进行语言建模和/或逐像素生成图像。而segment based recurrence模型(例如Transformer-XL和Compressive Transformers)也专注于大范围语言建模任务,例如PG-19。

一方面,一些模型主要集中于**编码(encoding only)**的任务,例如问题解答、阅读理解和/或从Glue基准中选择。例如ETC模型仅在回答问题基准上进行实验,如NaturalQuestions或TriviaQA。另一方面,Linformer专注于GLUE基准测试子集。这种分解是非常自然和直观的,因为ETC和Linformer之类的模型无法以AR(auto-regressive)方式使用,即不能用于解码。这加剧了这些编码器模型与其他模型进行比较的难度。

有些模型着眼于上述两者的平衡。Longformer试图通过在生成建模和编码器任务上运行基准来平衡这一点。Sinkhorn Transformer对生成建模任务和仅编码任务进行比较。

此外,还值得注意的是,尽管Seq2Seq任务的**机器翻译(MT)**是普及Transformer模型的问题之一,但这些有效的Transformer模型没有能对MT进行多些的评估。这可能是因为MT的序列长度不足以保证这些模型的使用。

尽管generative modeling、**GLUE(General Language Understanding Evaluation)**和/或question answering,似乎是这些应用的通用评估基准,但仍有一些基准可供小部分论文单独进行评估。首先,Performer模型会对masked language modeling进行评估,和其他有效的Transformer模型进行了正面对比。而且Linear Transformer还对语音识别进行评估,这是比较罕见的了。

效率方面的比较

另外,论文最后还对这些效率提高的方法做了分析比较,主要是几个方面:

  • Weight Sharing

  • Quantization / Mixed Precision

  • Knowledge Distillation (KD)

  • Neural Architecture Search (NAS)

  • Task Adapters

transformer综述汇总与变形分析(持续更新) Note: 本文收集transformer领域的较流行的综述文章,将认为比较重要的内容整理在一起,用于学习和提供思路。 1.谷歌:Efficient Transformers: A Survey(2020年9月) 2.华为、北大:A Survey on Visual Transformer(2020年12月) 3.复旦大学邱锡鹏组综述:A Survey of Transformers(2021年6月15日) 随着transfomer的成功,各种基于原始transfomrer的变形不断被提出,作者将其归纳为3 阅读详情

相关推荐

字节跳动提出高性能 transformer 推理库,获 IPDPS 2023 最佳论文奖

动手点关注干货不迷路字节跳动与英伟达, 加州大学河滨分校联合发表的论文 《ByteTransformer: A High-Performance Transformer Boosted for Variable-Length》在第 37 届 IEEE 国际并行和分布式处理大会(IPDPS 2023)中,从 396 篇投稿中脱颖而出,荣获了最佳论文奖。该论文提出了字节跳动的 GPU transfor...

字节跳动技术团队官方博客 5983

[ Transformer篇 ] 经典网络模型 —— Vision Transformer + Transformer in Transformer + Swin Transformer

[ Transformer篇 ] 经典网络模型 —— Vision Transformer + Transformer in Transformer + Swin Transformer; 主要介绍Vision Transformer、Transformer in Transformer、Swin Transformer这三个Transformer的经典模型。

A_John 的博客 2672

Medical Transformer: Gated Axial-Attention for Medical Image Segmentation

Medical Transformer: Gated Axial-Attention for Medical Image Segmentation 现有的技术背景及其局限: 深度卷积体系结构缺乏对图像中的远程依赖关系的把握。 用于医学成像的数据样本数量相对较少,使得有效训练用于医学得transformer变得困难。 探索解决方案: 基于 Transformer 的体系结构利用自我注意机制,编码长期依赖关系,并具有极富表现力的表示法. ...

junmoxizsq的博客 831

Axial Transformer笔记

Axial Transformer由内解码器(Inner Decoder)和外解码器(Outer Decoder)组成。内解码器负责行内建模,外解码器通过轴向注意力层捕获之前行的信息,从而实现全局上下文建模。:在多维张量的单个轴上应用注意力机制,避免将张量展平。例如,在图像中分别沿行和列应用注意力,计算复杂度从O(N²)降低到O(N√N)。:通过额外的轴向注意力层对之前通道进行编码,为当前通道建模提供上下文信息。

hello! 708

【CS224n】(lecture9)Transformer的变体

学习总结 Transformer 的进一步改进可能在于以下几个方向: 0.1 理论分析 Transformer 的架构已被证明能够支持具有足够参数的大规模训练数据集。许多工作表明,Transformer 具有比 CNN 和 RNN 更大的容量,因此具有处理大量训练数据的能力。当 Transformer 在足够的数据上进 行训练时,它通常比 CNN 或 RNN 具有更好的性能。一个直观的解释是 Transformer 对数据结构的先验假 设很少,因此比 CNN 和 RNN 更灵活。然而,理论原因尚不清楚,我们

发现问题,并解决问题,批判性思维 2969

effective_transformer:无需填充即可运行BERT

有效变压器 Effective Transformer建立在NVIDIA开源项目具有许多高级优化功能。我们的实验表明,有效的Transformer可以显着减少执行时间和内存消耗,尤其是对于大批量的情况。 无需填充即可运行BERT 当使用BERT编码一批输入序列时,我们通常将输入批处理视为一个矩阵,其列号等于所有序列的最大长度。 NVIDIA 可以非常有效地处理所有序列具有大致相同长度的情况。但是,如果同一批中的序列长度相差很大,则将它们填充到相同的长度中会浪费大量的内存和计算资源。 考虑以下情况 bert_input = [[ "Hi" ], [ "Picking" ], [ "The" , "seed" , "of" , "Job's" , "tears" ]] bert_tokens = [[ 1 ], [ 2 ], [ 3 , 4 , 5 , 6 , 7 ]] bert_tokens

 Google综述:细数Transformer模型的17大高效变种

在开始学习之前推荐大家可以多在FlyAI竞赛服务平台多参加训练和竞赛,以此来提升自己的能力。FlyAI是为AI开发者提供数据竞赛并支持GPU离线训练的一站式服务平台。每周免费提供项目开源算法样例,支持算法能力变现以及快速的迭代算法模型。 摘要: 在NLP领域transformer已经是成功地取代了RNN(LSTM/GRU),在CV领域也出现了应用,比如目标检测和图像加注,还有RL领域。这是一篇谷歌2020年9月份在arXiv发表的综述论文 “Efficient Transformers: A...

iFlyAI的博客 746

Ansys Lumerical 启动时出现 Error: Could not connect to Ansys license server specified at 1055@ 的另一种解决办法

昨天在关闭了中之后 就能正常打开 FDTD 了,结果今天想开启出现了同样的报错:我猜测昨天能启动的原因在于关闭之后要重启电脑,并且在重启之后我第一时间打开 lumerical 测试因此端口没有被占用,今天是在电脑启动之后一段时间才打开所以又遇到了端口占用的问题。

qq_51404184的博客 9563

注意力机制之Efficient Multi-Head Self-Attention

它的主要输入是查询、键和值,其中每个输入都是一个三维张量(batch_size,sequence_length,hidden_size),其中hidden_size是嵌入维度。(2)每个head只有q,k,v的部分信息,如果q,k,v的维度太小,那么就会导致获取不到连续的信息,从而导致性能损失。这篇文章给出的思路也非常简单,在SA中,在FC之前,用了一个卷积来降低了空间的维度,从而得到空间维度上更小的K和V。在此文件的示例中,EMSA模块的内部参数已经初始化,可以将数据传递给模块实例,并检查输出形状。

qq_38915354的博客 3318

设计的多实例引用(Multiple Instances of a Design Reference)

一、什么是“设计的多实例引用” 在层次化的设计中,我们经常会将一个module例化多份,这些例化的instance就是设计的module的多实例引用。 二、为什么要解决多实例引用 三、怎么解决多实例引用 ...

kevindas的博客 3720

Anthropic API接入指南:连接失败、403鉴权与Claude Code集成排查

在AI应用开发中,API接入与鉴权机制是开发者绕不开的基础工程问题。无论是调用云端模型服务还是自建网关,网络连通性、HTTP状态码语义、模型路由映射都会直接影响服务可用性。本文从通用的网络诊断与鉴权原理出发,梳理了从TCP连接失败到403权限拒绝的典型链路,并深入解析网关模型路由匹配机制。在此基础上,进一步说明如何通过环境变量完成Claude Code与VS Code的本地集成,以及一套基于Python的可复现接入方案。内容涵盖Anthropic API高频报错定位、curl冒烟测试、SDK工程化实践,适合

weixin_28743405的博客 470

语音识别(ASR)论文优选:Streaming End-to-End ASR based on Blockwise Non-Autoregressive Models

声明:平时看些文章做些笔记分享出来,文章中难免存在错误的地方,还望大家海涵。平时搜集一些资料,方便查阅学习:http://yqli.tech/page/speech.html。如转载,请标明出处。欢迎关注微信公众号:低调奋进 Streaming End-to-End ASR based on Blockwise Non-Autoregressive Models 本文为Johns Hopkins University在2021.07.20更新的文章,主要做使用blockwise和mask-ctc来优化.

低调奋进 908

从零到一:3D Slicer与MONAI在医学影像中的AI革命

本文探讨了3D Slicer与MONAI在医学影像分析中的革命性应用,展示了如何通过开源工具实现高效的三维影像处理和AI增强分析。结合临床案例,详细介绍了从数据准备到AI分析的全流程,显著提升诊断效率和精度,推动医学影像技术迈向新纪元。

tcp8optimizer的博客 342

深度学习视觉领域中的attention机制的汇总解读(self-attention、交叉self-attention、ISSA、通道注意、空间注意、位置注意、Efficient Attention等)

self-attention来自nlp的研究中,在深度学习视觉领域有不少新的attention版本,为了解各种attention机制。博主汇集了6篇视觉领域中attention相关的论文,分别涉及DAnet(位置注意+通道注意)、CBAM(通道注意+空间注意)、Attention U-Net(注意Gate)、SAGAN(self-attention)、CCNet(交叉self-attention)、ISSA(Long-range self-Attention + Short-range self-Atten

a486259的博客 5180

FPGA以太网开发实战:YT8511 PHY芯片MDIO接口配置全流程(附Verilog代码)

本文详细介绍了FPGA以太网开发中YT8511 PHY芯片MDIO接口的配置全流程,包括MDIO接口技术解析、Verilog状态机设计、核心代码实现细节及实战调试经验。通过提供经过验证的Verilog代码和优化策略,帮助开发者快速掌握以太网PHY芯片配置技术,提升通信系统性能。

weixin_29184371的博客 233

汽车软件工程师必看:ASPICE开发流程全解析(附各阶段交付物清单)

本文全面解析了汽车行业广泛采用的ASPICE开发流程,详细介绍了从需求挖掘到系统架构设计、软件工程及测试验证各阶段的关键操作和交付物清单。针对汽车软件工程师,提供了实用的协作指南和工具推荐,帮助团队提升开发效率并降低项目风险,是掌握ASPICE标准的必备指南。

weixin_30733003的博客 652

每日Attention学习14——Efficient Self-Attention

Self Attention操作在具有优秀的长距离建模能力的同时,也有着较高的计算与内存成本,因此需要进行优化。本文的ESA模块中的Query直接通过原特征Reshape得到,而Key与Value则通过Pyramid Pooling操作得到。

xiongxyowo的博客 1165

五十天精通硬件设计第6天-放大器知识及选型

运算放大器(Operational Amplifier,简称运放)是一种高增益的直流耦合差分放大器,广泛应用于信号处理、滤波、比较、积分、微分等电路中。

whm128的博客 597

effective_transformer

对字节跳动effective_transforerhttps://github.com/bytedance/effective_transformer

ltochange的博客 624

SAP RAP 里的 EML 全解:从语言定位到事务语义,再到真实案例的落地方式

摘要:EML(Entity Manipulation Language)是ABAP RAP模型的核心组件,作为ABAP的子集用于操作业务对象(BO)。它通过声明式语法(READ/MODIFY/EXECUTE/COMMIT)统一访问BO的行为与数据,并由RAP运行时自动处理校验、锁定、草稿管理等生命周期。EML将业务语义融入代码,确保与Fiori应用共享同一套校验逻辑,并通过FAILED/REPORTED/MAPPED管道传递错误与消息。其事务控制(IN LOCAL MODE与COMMIT ENTITIES)

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 528

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

AXIAL ATTENTION IN MULTIDIMENSIONAL TRANSFORMERS详解笔记

在Axial Transformer的上下文中,这两种注意力机制的组合使用允许模型在保持计算效率的同时,有效地捕捉和利用多维数据中的长期依赖关系。通过在不同维度上应用不同类型的注意力,模型能够在保持对数据的全面理解的同时,有效地捕捉和利用数据中的长期依赖关系。从表格中可以看出,Axial Transformer在所有四个特性上都表现优异,它不仅能够捕获完整的上下文信息,而且计算效率高,易于实现,并且支持半并行处理,这使得它在处理高维数据时具有显著的优势。:在填充平面下方,依次是不同帧的RGB通道。

hello! 1165

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Transformer系列-7丨综述解析(一)

本文是之前笔者阅读《A survey of transformers》论文的学习笔记。如有错误解析,欢迎指出~因为篇幅有限,本文主要围绕传统Transformer所存在的问题(即计算和存储开销大,自注意力的计算复杂度为)以及为了解决该问题而衍生出的一类Transformer变体(即稀疏注意力以上就是我关于阅读《A survey of transformers》论文的学习笔记,当然这只是一部分,尤其关注于稀疏注意力这块。

2401_85379281的博客 1560

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

上一篇: 图神经网络 |BiGCN:双向低通滤波图神经网络
下一篇: 老师吴恩达,身家又增20亿!
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值