AI算力基础 -- MIT课程《Understanding Deep Neural Networks》

原创 已于 2022-05-15 18:07:55 修改 · 2.3k 阅读 · 17 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#编码学 #深度学习 #计算机视觉

于 2021-11-28 18:22:36 首次发布
本文介绍了深度神经网络在CPU/GPU平台上的高效处理方法，如矩阵乘法优化、FFT/Strassen/Winograd转换，以及针对稀疏性和精度降低的算法设计。章节详细探讨了批处理大小、数据重用、算法与硬件协同设计，涵盖了深度卷积、灵活性和可扩展性，以及其他平台如DNN加速器和新兴技术。

阅读总结

深度神经网络的高效处理（硬件）《Efficient Processing of Deep Neural Networks》读书笔记
原书：《Efficient Processing of Deep Neural Networks》Vivienne Sze, Yu-Hsin Chen, Tien-Ju Yang, Joel S. Emer（Morgan&Claypool Publishers - Synthesis Lectures On Computer Architecture）出版时间：Jun 2020
作者 MIT Vivienne Sze.

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
Batch Size
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

一、CPU && GPU Platform

在这里插入图片描述
全连接层可以直接转为矩阵乘：
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
高斯算法：
在这里插入图片描述
FFT/Strassen/Winograd：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Properties We Can Leverage:

四份数据需要 RW, 所以下述倍数为4.
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Algorithm & Hardware Co-Design:

在这里插入图片描述

Reduce Precision:

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

Sparsity:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Efficient network architecture:

Sparsity:请添加图片描述

在这里插入图片描述
在这里插入图片描述
Depthwise convolution:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

最低0.47元/天 解锁文章
大数据AI人工智能与 GPU、TPU 超级算力融合引领人类智能时代技术革命原理与应用实践
AI天才研究院
09-01 2158
在21世纪的第三个十年,我们正站在人类智能时代的门槛上。这个新时代的到来,得益于大数据、人工智能(AI)以及GPU(图形处理器)和TPU(张量处理器)等超级算力的融合与发展。这些技术的结合不仅推动了科技的进步,更是引领着一场深刻的技术革命,正在重塑我们的社会、经济和生活方式。大数据为AI提供了海量的训练素材,使得机器学习模型能够从中提取出有价值的模式和知识。而AI算法的不断优化和创新,则让我们能够更有效地利用这些数据,实现更智能、更精准的决策和预测。
Graph Neural Networks: A Review of Methods and Applications（图神经网络：方法与应用综述）
weixin_41697507的博客
07-06 5886
Graph Neural Networks: A Review of Methods and Applications Jie Zhou , Ganqu Cui , Zhengyan Zhang , Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, Maosong Sun Abstract—Lots of learning tasks req...
Understanding Neural Networks Through Deep Visualization 论文笔记
Jayxbx的博客
05-02 1671
0 摘要 近年来，在训练大型深度神经网络方面取得了巨大进展，其中包括训练卷积神经网络识别自然图像。 然而，我们对这些模型如何工作的理解，特别是他们在中间层执行的计算，已经落后了。通过开发更好的可视化和解释神经网络的工具，这一领域的进展将进一步加速。 我们在这里介绍两种工具。 第一种是在处理图像或视频时，将训练过的每个图层上产生的激活可视化的工具。我们发现，随着用户输入的改变，通过查看实时的激活值...
DNN硬件加速器设计3 -- DNN Accelerators（MIT）
Archar_Saber的博客
04-01 5517
3.1 Highly-Parallel Compute Paradigms 并行计算架构分为以下两类: （1）Temporal Architecture (SIMD/SIMT) 图 1 Temporal Architecture 图1所示为Temporal Architecture的基本结构。该结构的特点是有个公用的Register File, 统一的控制单元，用于并行计算的多条数据路径。 （2）Spatial Architecture (Dataflow ...
MIT警示“深度学习过度依赖算力”，研究三年算法不如用10倍GPU。道翰天琼认知智能机器人大脑API接口。
m0_49525819的博客
07-23 193
目前深度学习的繁荣过度依赖算力的提升，在后摩尔定律时代可能遭遇发展瓶颈，在算法改进上还需多多努力。根据外媒Venturebeat报道，麻省理工学院联合安德伍德国际学院和巴西利亚大学的研究人员进行了一项“深度学习算力”的研究。在研究中，为了了解深度学习性能与计算之间的联系，研究人员分析了Arxiv以及其他包含基准测试来源的1058篇论文。论文领域包括图像分类、目标检测、问答、命名实体识别和机器翻译等。得出的结论是：训练模型的进步取决于算力的大幅提高，具体来说，计算能力提高10倍相当于三年的算法改进。而这算力提
AI算力加速：效率翻倍的入门学习指南
最新发布
zctzctzct123的博客
09-21 1032
第一部分：理解 AI 算力基础 - 效率的引擎第二部分：设计领域算力加速实战 - 告别漫长渲染第三部分：办公场景算力加速实战 - 智能自动化解放双手第四部分：创作领域算力加速实战 - 激发无限灵感第五部分：通用算力加速策略与未来展望
论文学习1----理解深度学习需要重新思考泛化Understanding deep learning requires rethinking generalization
I am what i am
06-14 2886
——论文地址：Understanding deep learning requires rethinking generalization1、有关新闻1.1 新闻一：参考1：机器之心尽管深度人工神经网络规模庞大，但它们的训练表现和测试表现之间可以表现出非常小的差异。传统的思考是将小的泛化误差要么归结为模型族的特性，要么就认为与训练过程中的正则化技术有关。通过广泛的系统性实验，我们表明这些传统的方法并
Meta-Learning in Neural Networks: A Survey元学习最新综述（翻译）
热门推荐
qq_38680752的博客
06-02 1万+
近年来，元学习领域，即“为学习而学习”，已经引起了人们极大的兴趣。与传统的人工智能方法不同，传统的人工智能方法是使用固定的学习算法从头开始解决给定的任务，元学习的目的是改进学习算法本身，考虑到多次学习的经验。这个范例提供了一个机会来解决深度学习的许多传统挑战，包括数据和计算瓶颈，以及泛化的基本问题。在这项调查中，我们描述了当代元学习的景观。我们首先讨论元学习的定义，并将其定位于相关领域，如转移学习、多任务学习和超参数优化。然后我们提出了一种新的分类方法，它提供了当今元学习方法的更全面的细分。我们综述了元学习
Deep learning_CNN_Review：A Survey of the Recent Architectures of Deep Convolutional Neural Networks—...
Alliswell_WP
11-08 2745
CNN综述文章的翻译 [2019 CVPR] A Survey of the Recent Architectures of Deep Convolutional Neural Networks 翻译 综述深度卷积神经网络架构：从基本组件到结构创新 目录 摘要 1、引言 2、CNN基本组件 2.1 卷积层 2.2 池化层 2...
(MIT)Deep learning 学习笔记（1）
logicor的博客
03-20 846
从今天每天会定量学习DEEP LEARNING。MIT这本书可以说是DEEP LEARNING 方向的启蒙，这个博客系列将会是我学习笔记。 开篇就告诉了我们，这本书是为了想了解深度学习的年轻本科生或者像我这种想从图像算法转行做DL的人准备的。 人类的文化形成了近千年，人的意识早就抽象的不能早抽象了，虽然是由神经元的简单连接、刺激，但是人类的思维已经复杂到连人类自己都无法模拟了。国外曾经有人多次尝试通
Efficient Processing of Deep Neural Networks A Tutorial and Survey
03-16
该文档是顶会深度学习与硬件加速综述，对从本世纪初到现在的深度学习发展以及对应的硬件加速方法做了比较清晰的概述，非常具有代表性
深度学习国外综述论文 Efficient Processing of Deep Neural Networks: A Tutorial and Survey
09-05
非常全面的国外综述论文，对深度学习各个反向理论有一个全面的介绍！
MIT深度神经网络硬件架构设计教程
09-03
MIT EYERISS芯片设计指导教程，基于FPGA/ASIC神经网络设计的干货
Efficient Processing of Deep Neural Networks: A Tutorial and Survey
05-08
This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes.
深度神经网络的高效处理：从算法到硬件架构【NeurlPS 2019】.zip
12-12
近日，NeurlPS 2019 大会放出了一个名为“Efficient Processing of Deep Neural Network: from Algorithms to Hardware Architectures”的演讲。该演讲主要介绍各类能够使硬件高效处理深度神经网络（DNN）计算的方法，包括在计算机视觉、语音识别、机器人等领域，而涉及到的硬件包含了从 CPU、GPU 到 FPGA 和 ASIC 等各类计算硬件。
Efficient processing of deep neural networks: A tutorial and survey
W0n9_的博客
01-15 1832
深度神经网络的高效处理：教程和综述 摘要 深度神经网络(DNN)目前广泛应用于计算机视觉、语音识别和机器人等人工智能(AI)领域。虽然DNN在许多AI任务上提供了最先进的精确度，但它以高计算复杂度为代价。因此，对于DNN在AI系统中的广泛部署而言，实现DNN的有效处理以提高能源效率和吞吐量而又不牺牲应用精度或增加硬件成本的技术至关重要。本文旨在提供一个有关实现DNN高效处理目标的最新进展的综合教程和综述。 具体来说，它将提供DNN的概述，讨论支持DNN的各种硬件平台和体系结构，并重点介绍仅通过硬件设计更改或
AI算力平台如何支持深度学习模型的部署（非常详细）从零基础到精通，收藏这篇就够了！
Python_0011的博客
06-21 625
包括算法开发、模型训练和推理部署等。
论文阅读笔记（五十三）：Understanding Deep Convolutional Networks
sunshine_010的博客
05-14 1279
Abstract Deep convolutional networks provide state of the art classifications and regressions results over many high-dimensional problems. We review their architecture, which scatters data with a cas...
【人工智能】“AI + 算力 = 最强龙头”，你怎么看？
wzk4869的博客
06-19 5339
【人工智能】“AI + 算力 = 最强龙头”，你怎么看？
tensorflow-deep-neural-networks-master
08-29
tensorflow-deep-neural-networks-master是一个基于TensorFlow的深度神经网络的代码库。TensorFlow是一个开源的机器学习框架，它提供了一套丰富的工具和库，用于构建和训练各种类型的神经网络模型。这个代码库中的代码实现了一些常用的深度神经网络模型，如卷积神经网络（CNN）、循环神经网络（RNN）和生成对抗网络（GAN）等。 这个代码库的目标是为开发者提供一个快速搭建和训练深度神经网络模型的工具。它提供了一系列的示例代码和教程，帮助开发者了解和应用深度学习算法。通过这些示例代码，开发者可以学习如何构建神经网络模型、定义损失函数、选择合适的优化算法等。此外，该代码库还提供了一些预训练的模型，供开发者使用。 使用tensorflow-deep-neural-networks-master代码库，开发者可以轻松地实现各种深度神经网络模型，并在不同的任务上进行训练和测试。这个代码库还提供了一些实用工具，如数据处理、模型评估等，帮助开发者更好地完成深度学习任务。 总之，tensorflow-deep-neural-networks-master是一个方便且强大的深度神经网络代码库，它提供了丰富的工具和示例代码，可以帮助开发者更好地理解和应用深度学习算法。无论是学习深度学习还是在实际应用中，这个代码库都是一个很有价值的资源。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值