机器学习加速器文献整理

最新推荐文章于 2025-05-22 10:08:58 发布
最新推荐文章于 2025-05-22 10:08:58 发布
阅读量3.7k 收藏 16
点赞数 2
CC 4.0 BY-SA版权
分类专栏： AI 加速器 文章标签： AI 加速器 AI芯片
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/miao20091395/article/details/79303669
这篇博客整理了William J. Dally团队和寒武纪团队在AI加速器领域的研究成果，包括SCNN、EIE、DianNao和Cambricon-X等加速器。Dally团队提出了对神经网络硬件和算法的优化，包括剪枝、量化和稀疏编码。而寒武纪团队则设计了三级流水结构的加速器，支持多种神经网络结构，并在DianNao基础上增加了对稀疏神经网络的支持。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

William J. Dally 团队

Dally团队除了对神经网络处理器进行硬件优化，也提出了很多算法上的优化。包括

  • 提出了一种训练方法，在训练过程中对神经网络进行剪枝，可以增加网络的稀疏性，（可以减少9x到13x的互联weight）。
  • 对稀疏后的weight进行量化，这样数据就少了，可以使用LUT存储，在weight的量化过程中使用了K-means聚类算法。量化可以将weight的表示从32为降低为5位。
  • 量化后的weight，以及其稀疏编码的index的分布是非均匀的，通过分析这种非均匀性，使用huffman这种压缩编码来进行存储，节省20-23%存储空间。
  • 又提出在稀疏的时候，可以间隔着的稀疏，比如稀疏掉特定的一个滤波器，这样可以使稀疏后的数据更规整，利于加速。
    这里写图片描述

文献一：SCNN: An Accelerator for Compresse d-sparse Convolutional Neural Networks1

作者：Angshuman Parashar，William J. Dally
摘要：

  • 对卷积层进行优化
  • 探索activation 和weight中的0来优化结构。在训练过程中通过将小于一定阈值的weight归零来增加weight矩阵的稀疏性。
  • 将卷积运算分布到几个子PE中运算。
  • activation和weight都使用稀疏编码来计算。

结构及优化分析
本文提高，CNN网络的稀疏性表现在两个方面：weight的稀疏性和activation的稀疏性。Weight的稀疏性可以通过一些剪枝算法来实现，比如韩松等人提出的剪枝算法。Activation的稀疏性来自于ReLU运算。
Weight和activation中的0不会对结果产生影响。因此通过利用CNN的稀疏性可以得到以下两个好处：1、压缩数据，通过使用压缩编码消除数据中的0，可以减小需要存储的数据量；2、消除不必要的计算，当weight和activation中有0时，我们既可以关闭计算单元来节省能耗，也可以直接跳过该运算，这样既节省能耗又节约时间。CNN硬件设计就需要充分利用这两个好处。
这里写图片描述
一个典型的CNN卷积层运算的数据结构和算法如上图所示，为一个7层嵌套的循环，其核心运算为滤波中的乘累加。硬件设计就是要对该循环进行并行加速。
首先假设数据的非稀疏的，先根据卷积运算的7层循环的特点来优化结构。由于weight和activation都很大，要进行分块处理。对于卷积运算，有两种循环方式：固定activation，循环weight；固定weight，循环activation。该文使用的前者，因此首先对weight进行分组，将k个通道（channel）的weight按照每组Kc个通道来分组，weight分组后的计算单元变为：
这里写图片描述

该文的结构SCNN由多个PE组成，因此对于以上的计算单元，又对activation进行分块。将WxH的activation平面，按照Wt × Ht的格子进行分割，每个PE计算的activation数量为C ×

最低0.47元/天 解锁文章

200万优质内容无限畅学
面试题：为什么 一般 weight 选择对称量化,activation 选择非对称量化？
发狂的小花的博客
07-28 1144
为什么 一般 weight 选择对称量化,activation 选择非对称量化？
【ISCA17】SCNN:AnAcceleratorforCompressed-sparseConvolutionalNeuralNetworks_一只神秘的大金毛_新浪博客...
Mys_GoldenRetriever的博客
08-02 1332
主要设计了一个可以高效处理稀疏化CNN的高效硬件架构，主要思想就是跳过weight和activation中有0的乘法的情况。以达到加速（cycle）和降低功耗的效果。 以下按照原文结构，大致概括一下文章的脉络。 ABSTRACT 本文设计了一个Sparse CNN (SNN)的加速器硬件架构，通过设计一种压缩的数据流模式，同时探索了weight和activation在硬件中的稀...
机器学习文献综述
07-15
机器学习文献综述机器学习文献综述机器学习文献综述机器学习文献综述
文献阅读（31）2021加速器
tiaozhanzhe1900的博客
10-07 355
文章目录1 introduction 题目：A Reconfigurable Neural Network Processor With Tile-Grained Multicore Pipeline for Object Detection on FPGA 时间：2021 会议：TVLSI 研究机构：西邮 1 introduction 本篇论文的主要贡献： 流水线多核处理架构，可调整多核互连，以提高可重构计算资源的利用率 动态配置地址以提高片上存储的利用率 类似近存计算的跨层特征融合 流水线任务调度
十本必读的机器学习论文！超详细整理总结
最新发布
yyyyyybw的博客
05-22 1145
机器学习算法是 AI 系统执行任务的规则或流程，通过对数据的分析学习，自动挖掘规律和模式，用于预测、分类、聚类等任务，实现智能化数据分析处理。依据输入数据（标记或未标记），对数据模式评估，用于预测或分类。比如判断邮件是否为垃圾邮件（分类），预测股票价格（预测）。评估模型预测结果。与已知示例对比，衡量模型准确性，如计算预测值和真实值的差值。若模型与训练数据拟合欠佳，调整权重缩小已知样本与模型估计的差异，重复 “评估 - 优化”，直至达精度要求。即插即用缝合模块+CVPR可复现论文。
关于统计机器学习的一些文献
03-22
关于统计机器学习的一些文献，介绍了机器学习领域的最新进展，包括半监督学习的一些介绍
英文文献翻译格式整理器
My Blogssssssssss~~~
05-08 1021
英文文献翻译格式整理器 一、软件开发灵感及相关说明 本人作为一枚科研小白，在阅读英文文献的时候，仅靠自己菜鸡的英语水平是无法流畅的阅读的，所以大多数情况下是需要借助翻译软件的。我的翻译过程是：Adobe Acrobat打开PDF文件，在编辑模式下对文本进行复制，再通过快捷键Ctrl + C + C 快速调用DeepL翻译。通过Adobe编辑模式复制的方式，可以有效避免在普通模式下，复制的文字每行自动添加换行符的问题。但是，通过这种方式会带来连字符的问题，每次翻译的时候都得手动删除，很麻烦。所以，就有了本文的
机器学习系类必看论文
11-16
机器学习系类必学的经典论文，学习机器学习首先得了解的相关资讯。第二弹接上。
机器学习实战读书笔记（三）
PasPerCon
08-25 375
从本节开始，将介绍无监督学习。今天整理了无监督学习中的k均值聚类算法和MapReduce部分的内容。本部分是8月24号的内容。 9. k均值聚类算法 （1）k均值聚类算法 优点：易于实现。 缺点：可能收敛到局部最小值，在大规模的数据集上的收敛速度慢。 适用数据类型：数值型。 可以用的误差指标如误差的平方和（Sum of Squared Error，即SSE）来评价算法的效果。k值是需要...
李宏毅深度学习笔记——深度学习基本概念
gzhhappy的博客
12-14 1573
深度学习 神经网络 神经元示意图（转载） Inputs：输入。 Weights：权值，权重。 Bias：偏置，或者称为阈值 (Threshold)。 Activation function：激活函数。 1958年，计算科学家Rosenblatt提出了由两层神经元组成的神经网络。在“感知器”中，有两个层次。分别是输入层和输出层。输入层里的“输入单元”只负责传输数据，不做计算。输出层里的“输出单元”则需要对前面一层的输入进行计算。与神经元模型不同，感知器中的权值是通过训
傻白入门芯片设计，盘点GPU业界的大佬（十五）
qq_46675545的博客
12-16 3835
出于AI芯片层级的强势地位，英伟达也和谷歌、英特尔并列为AI芯片界的“三巨头”。本篇根据笔者的一些收集理解，介绍了三巨头的一些业界顶尖人才。
【论文笔记】二值化神经网络（Binarized Neural Network）
elaine_bao的专栏
03-22 1万+
文章链接：Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 是2016年2月份新出的一篇文章。文章的主要思想是通过二值化weights和activations，来提高NN的速度和减少其内存占用。
论文笔记：An Efficient Hardware Accelerator for Structured Sparse Convolutional Neural Networks on FPGAs
GaleZhang的博客
10-23 1531
An Efficient Hardware Accelerator for Structured Sparse Convolutional Neural Networks on FPGAs Abstract 深度卷积神经网络（CNN）在广泛的应用中都实现了最先进的性能。但是，复杂的人工智能（AI）任务广泛需要更复杂的更深的CNN模型，这些模型通常对算力的要求极高。尽管最近在网络压缩方面的研究进展（例如剪枝）已经显著减轻了硬件设备的计算负载，但是由于剪枝引起的不规则性，仍然无法阻止现有的加速器充分利用稀疏性的
Neural network最基础的反向传播矩阵形式推导（乱推）
qq_36248632的博客
01-29 1430
neural network最基础的反向传播矩阵形式推导符号定义Data和Label的定义Layer和Activation导数符号定义如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程...
机器学习09--神经网络的激活函数(Activation Function)及python代码实现
雨落那秋林
02-22 8238
在前面的一些关于机器案例中使用了激活函数，如 机器学习(1)--神经网络初探 开篇中的 tanh(x)与tanh_deriv(x)两个函数    TensorFlow实例(5.1)--MNIST手写数字进阶算法(卷积神经网络CNN) 中在最大池化时使用的 tf.nn.relu我们为什么要使用激活函数，通常他有如下一些性质：非线性： 如果是线性的时候，多层的神经网络是无意义的可微性： 做梯度下降，这...
【论文阅读笔记】PACT：PArameterized Clipping Activation for Quantized Neural Networks
时光机 °的博客
10-09 6027
全文概括   本文目的是将 activation 和 weight 一起量化，其结果能量化 activation 和 weight 到 4-bit 大小，且准确度能和 full precision 媲美(在一系列流行的模型和数据集上)。   该方法是提出一个新的激活函数，即PACT(PArameterized Clipping Activation)，其作用在训练阶段。   提出该激活函数的背景是...
【笔记】超参可视化一：activation function、weight initializer、optimizer、learning rate、mini-batch，网络架构（隐层神经元数量等）
nyist_yangguang的博客
11-29 254
超参数3_腾讯视频 超参数2_腾讯视频 超参数1_腾讯视频
机器学习笔记-神经网络中激活函数（activation function）对比--Sigmoid、ReLu，tanh
热门推荐
lilu916的博客
09-03 2万+
为什么激活函数是非线性的？ 如果不用激励函数（相当于激励函数是f(x)=x），在这种情况下，每一层的输出都是上一层的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这与一个隐藏层的效果相当（这种情况就是多层感知机MPL）。 但当我们需要进行深度神经网络训练（多个隐藏层）的时候，如果激活函数仍然使用线性的，多层的隐藏函数与一层的隐藏函数作用的相当的，就失去了深度神经网络的意义，所以引入非
SCNN-用于时序动作定位的多阶段3D卷积网络
Will Lin的博客
03-23 1万+
注：本文首发在微信公众号-极市平台。如需转载，请联系微信Extreme-Vision这篇文章主要介绍Zheng Shou在CVPR2016上的工作”Temporal action localization in untrimmed videos via multi-stage cnns”[1]。之后会再介绍他在CVPR2017 上的新工作。首先介绍一下这篇文章要解决的问题。视频中的人体行为识别主要包
跑机器学习
03-31
<think>好的，我需要帮助用户了解如何运行或启动机器学习任务，包括运行模型和启动训练。首先，用户的问题涉及两个主要方面：运行已有的机器学习模型和启动新的训练流程。根据用户提供的引用内容，特别是引用[1]和[2]，需要结合这些信息来构建回答。 首先，我需要整理运行机器学习模型的一般步骤。通常，这包括数据准备、加载模型、预处理数据、模型推理和后处理。例如，用户提到的封装成桌面应用可能涉及到将训练好的模型保存后，在应用中进行加载和使用。这里可以提到使用Python的库如joblib或pickle来保存和加载模型，同时需要注意在GUI应用中的性能优化，如引用[1]提到的。 接下来是启动机器学习训练的流程。这里需要涵盖数据收集与清洗、特征工程、模型选择、训练与验证、调优以及部署。引用[2]提到在数据科学学习过程中，通过信息图简化流程，这可能涉及到使用工具如Scikit-learn、TensorFlow等框架来构建和训练模型。同时，要强调数据预处理的重要性，比如处理缺失值、标准化等步骤。 用户提供的引用中，引用[1]还提到了GUI程序中的性能优化方法，这部分可能需要简要提及，例如使用Cython加速关键代码，或者异步处理防止界面卡顿。但用户当前的问题更关注如何启动和运行，所以这部分可以作为补充信息。 此外，用户可能对工具和框架感兴趣，需要列出常用的库，比如Pandas、NumPy用于数据处理，Scikit-learn用于传统机器学习模型，TensorFlow/PyTorch用于深度学习。在部署方面，可以提到Flask或Django构建API，或者使用PyInstaller封装桌面应用。 最后，生成相关问题需要考虑用户可能的后续疑问，例如数据预处理的具体方法、如何选择模型、训练中的过拟合处理、模型部署的步骤等。 需要确保回答结构清晰，分点说明，同时保持语言简洁，符合中文表达习惯。还要注意所有数学表达式使用正确的LaTeX格式，例如在提到损失函数时使用$L = \frac{1}{n}\sum_{i=1}^n(y_i - \hat{y}_i)^2$这样的格式。 总结步骤： 1. 运行机器学习模型的步骤：数据准备、加载模型、预处理、推理、后处理。 2. 启动训练的流程：数据准备、特征工程、模型选择、训练验证、调优、部署。 3. 工具和框架推荐。 4. 性能优化提示（来自引用[1]）。 5. 相关问题生成。 需要检查是否符合系统级指令，特别是LaTeX格式是否正确，引用标识是否添加。同时确保回答真实可靠，引用相关文献。</think>### 如何运行或启动机器学习任务 #### 一、运行机器学习模型 1. **数据准备** 输入数据需与训练数据格式一致。例如，图像分类任务需将图像调整为固定尺寸并归一化到$[0,1]$范围。 2. **加载模型** 使用Python库（如`joblib`、`pickle`或框架自带接口）加载预训练模型： ```python import joblib model = joblib.load('model.pkl') # 加载Scikit-learn模型 ``` 3. **数据预处理** 对输入数据执行与训练阶段相同的预处理操作，例如标准化： $$x_{\text{std}} = \frac{x - \mu}{\sigma}$$ 其中$\mu$为训练集均值，$\sigma$为标准差[^2]。 4. **模型推理** 调用预测接口生成结果： ```python prediction = model.predict(new_data) # 分类或回归输出 ``` 5. **后处理与输出** 根据任务需求解析结果，例如将分类概率转换为标签，或反归一化回归值。 --- #### 二、启动机器学习训练 1. **数据收集与清洗** - 从数据库、文件（CSV、Excel）或API获取原始数据。 - 处理缺失值（删除、插值）、异常值（截断或分箱）和重复值[^2]。 2. **特征工程** - 特征选择：使用相关系数、卡方检验等方法筛选重要特征。 - 特征变换：对非数值数据编码（如独热编码），或生成多项式特征$X^2, X_1X_2$。 3. **模型选择与定义** - 传统模型：Scikit-learn中的`RandomForestClassifier`、`SVM`。 - 深度学习：使用TensorFlow/Keras或PyTorch定义网络结构： ```python model = tf.keras.Sequential([ tf.keras.layers.Dense(64, activation='relu', input_shape=(input_dim,)), tf.keras.layers.Dense(10, activation='softmax') ]) ``` 4. **训练与验证** - 划分训练集/验证集（比例通常为8:2）。 - 定义损失函数（如交叉熵$L = -\sum y_i \log(\hat{y}_i)$）和优化器（如Adam）。 - 启动训练循环： ```python model.fit(X_train, y_train, epochs=50, validation_data=(X_val, y_val)) ``` 5. **模型调优** - 超参数优化：使用网格搜索（`GridSearchCV`）或贝叶斯优化。 - 防止过拟合：添加Dropout层或L2正则化$L_{\text{reg}} = \lambda \sum w_i^2$。 6. **模型部署** - 封装为API：使用Flask或FastAPI构建服务。 - 桌面应用：通过PyQt/Tkinter集成模型，引用[1]提到的性能优化方法如异步推理可避免界面卡顿。 --- #### 三、常用工具与框架 | 任务类型 | 推荐工具 | |----------------|--------------------------------------------------------------------------| | 数据处理 | Pandas, NumPy, OpenCV（图像） | | 传统机器学习 | Scikit-learn, XGBoost | | 深度学习 | TensorFlow, PyTorch, Keras | | 可视化 | Matplotlib, Seaborn | | 部署 | Flask（API）、PyInstaller（打包EXE）、Docker（容器化）[^1] | --- #### 四、性能优化提示 - **推理加速**：使用ONNX格式转换模型，或启用TensorRT优化（针对NVIDIA GPU）。 - **内存管理**：批量处理数据（Batch Inference）减少I/O开销。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值