张小殊的博客

本篇文章对liner和Multi-Head Attention以及其他常见结构的参数量和计算量进行分析，以及对自动计算模型参数量和计算量的工具库ptflops进行简单介绍。

在用于计算机视觉任务的深度神经网络模型中，卷积算子作为一种重要的特征提取方式被广泛应用，本文针对常见的卷积算子参数量和计算量的计算方法进行分析，主要包括普通卷积、深度可分离卷积、分组卷积。

现如今，深度神经网络模型和硬件加速器，如GPU、TPU等的关系可谓是“不分彼此”，随着模型参数的增加，硬件加速器成为了训练、推理深度神经网络不可或缺的一个工具，而近年来硬件加速器的发展也得益于加速人工智能模型的训练和推理。作为在人工智能领域最重要的两个基件，即模型（算法）和硬件（算力）（人工智能三个核心要素：算法、算力、数据），我们有必要去理解每种基件的评价指标以及指标的意义，才能在应用的过程中去选择适合的模型和硬件，而不是去挨个尝试！