ISCA‘23 | June 17-21,体系结构领域顶会,录取率创新高!华中科大学者担任Publicity Co-Chair!

大模型训练之计算量和内存优化篇------混合精度/量化QAT、QAF、PTQ/剪枝/知识蒸馏/FSDP&cpu offload/Gradient Checkpointing 大模型训练显存和计算量优化 阅读详情

ISCA,全称International Symposium on Computer Architecture,体系结构领域的顶级会议,由ACM SIGARCH(计算机系统结构特殊兴趣组)和IEEE TCCA(计算机架构技术委员会)联合举办。ISCA创办于1973 年,历史悠久的老牌体系结构顶会,在计算机领域的各种应用和人才遍地开花、大数据与深度学习引发新的发展浪潮的当代,其规模也有所扩大 。ISCA是CCF 推荐A类会议,Core Conference Ranking推荐A*类会议,H5 index为56。ISCA是计算机系统结构领域最顶级的会议之一,包括谷歌、英特尔、英伟达等企业在ISCA上发表的多项研究成果都已在半导体行业广泛应用。

ISCA的投稿量有波动上升趋势,近两年已经超过400篇。但是录取文章变化不大,2020录取量上升到77篇,为历史最高,2022年则下降至67篇。就录取率来看,ISCA一直都非常低,近几年虽有上升趋势,但是从没超过20%的关口,难度可想而知。但是今年ISCA的录取率飙升至21.24%,创下历史新高。

 

组委会信息

国际计算机体系结构研讨会(ISCA)是讨论计算机体系结构新思想和实验结果的主要论坛。会议特别寻求特别具有前瞻性和新颖的提案。2023年,第50届ISCA将于2023年6月17日至21日在美国奥兰多万豪世界中心举行。ISCA 2023是FCRC的一项活动,将于2023年6月17日至23日与其他13场会议一起举行。此外,ISCA的组委会当中Steering Committee和Program Committee当中都没国内学者,只有在Organizing Committee中,来自华中科大的Chencheng Ye担任Publicity Co-Chairs。

ISCA 2023大会官网:https://iscaconf.org/isca2023/

注册费信息

ISCA的注册分为线上和线下两种,线上注册费为100刀,线下注册则要430刀起步,具体的注册费信息如下:

For those who cannot attend ISCA in person, the registration fee is US $100.

录用信息

ISCA今年一共收到投稿372篇,录用79篇,录取率为21.24%,录用论文如下

ML Systems

  • OliVe: Accelerating Large Language Models via Hardware-friendly Outlier-Victim Pair Quantization

  • FACT: FFN-Attention Co-optimized Transformer Architecture with Eager Correlation Prediction

  • Mystique: Enabling Accurate and Scalable Generation of Production AI Benchmarks

  • Accelerating Personalized Recommendation with Cross-level Near-Memory Processing

  • Understanding and Mitigating Hardware Failures in Deep Learning Training Systems

  • LAORAM: A Look Ahead ORAM Architecture for Training Large Embedding Tables

  • Optimizing CPU Performance for Recommendation Systems At-Scale

CPU Mircoarchitecture

  • Orinoco: Ordered Issue and Unordered Commit with Non-Collapsible Queues

  • SPADE: A Flexible and Scalable Accelerator for SpMM and SDDMM

  • DynAMO: Improving Parallelism Through Dynamic Placement of Atomic Memory Operations

  • μManycore: A Cloud-Native CPU for Tail at Scale

  • MESA: Microarchitecture Extensions for Spatial Architecture Generation

  • Imprecise Store Exceptions

  • Supply Chain Aware Computer Architecture

Security

  • ISA-Grid: Architecture of Fine-grained Privilege Control for Instructions and Registers

  • TEESec: Pre-Silicon Vulnerability Discovery for Trusted Execution Environments

  • Metior: A Comprehensive Model to Evaluate Obfuscating Side-Channel Defense Schemes

  • Spy in the GPU-box: Covert and Side Channel Attacks on Multi-GPU Systems

  • Doppelganger Loads: A Safe, Complexity-Effective Optimization for Secure Speculation Schemes

  • Pensieve: Microarchitectural Modeling for Security Evaluation

  • All your PC are belong to us: Exploiting Non-control-transfer Instruction BTB Updates for Dynamic PC Extraction

Domain Specific Accelerators

  • HAAC: A Hardware-Software Co-Design to Accelerate Garbled Circuits

  • An Algorithm and Architecture Co-design for Accelerating Smart Contracts in Blockchain

  • FDMAX: An Elastic Accelerator Architecture for Solving Partial Differential Equations

  • MetaNMP: Leveraging Cartesian-Like Product to Accelerate HGNNs with Near-Memory Processing

  • RSQP: Problem-specific Architectural Customization for Accelerated Convex Quadratic Optimization

  • Flumen: Dynamic Processing in the Photonic Interconnect

Memory Systems

  • DRAM Translation Layer: Software-Transparent DRAM Power Savings for Disaggregated Memory

  • RowPress: Amplifying Read-Disturbance in Modern DRAM Chips

  • EMISSARY: Enhanced Miss Awareness Replacement Policy for L2 Instruction Caching

  • Write-Light Cache for Energy Harvesting Systems

  • Implicit Memory Tagging: No-Overhead Memory Safety Using Alias-Free Tagged ECC

  • On Endurance of Processing in (Nonvolatile) Memory

Emerging-Vision/Graphics/AR-VR

  • Instant-3D: Instant Neural Radiance Field Training Towards On-Device AR/VR 3D Reconstruction

  • K-D Bonsai: ISA-Extensions to Compress K-D Trees for Autonomous Driving Tasks

  • NeuRex: A Case for Neural Rendering Acceleration

  • Hardware Acceleration of Neural Graphics

  • Gen-NeRF: Efficient and Generalizable Neural Radiance Fields via Algorithm-Hardware Co-Design

  • EdgePC: Efficient Deep Learning Analytics for Point Clouds on Edge Devices

Emerging-Robotics

  • Energy-Efficient Realtime Motion Planning

  • RoSÉ: A Hardware-Software Co-Simulation Infrastructure Enabling Pre-Silicon Full-Stack Robotics SoC Evaluation

  • RoboShape: Using Topology Patterns to Scalably and Flexibly Deploy Accelerators Across Robots

SSD

  • Venice: Improving Solid-State Drive Parallelism at Low Cost via Conflict-Free Accesses

  • ECSSD: Hardware/Data Layout Co-Designed In-Storage-Computing Architecture for Extreme Classification

  • Decoupled SSD: Rethinking SSD Architecture through Network-based Flash Controllers

GPU

  • R2D2: Removing ReDunDancy Utilizing Linearity of Address Generation in GPUs

  • SAC: Sharin g-Aware Caching in Multi-Chip GPUs

     

文献阅读(81)FACT 存储和使用:生成的QKV矩阵以乱序的方式存储在临时缓冲区中,当计算某一行的注意力分数时,直接从缓冲区中读取对应的QKV矩阵。过去的工作只是节约了S=QK的计算量,还不够,这篇论文更进一步,预测完再动态的生成QKV,从而结余QKV的计算量。步骤3:当EP单元预测下一行的注意力矩阵时,PE阵列会计算额外需要的K、V矩阵,同时继续处理之前生成的Q矩阵。输入和预测:输入token矩阵被送入系统,同时EP单元开始工作,预测注意力矩阵。步骤1:EP单元预测第一行的注意力矩阵,确定需要计算的K、V矩阵的列。 阅读详情

相关推荐

升级NeRF!新加坡国立大学刚刚提出不到一秒从文本到3D生成:Instant3D

作者:小柠檬 | 来源:3DCV在公众号「3DCV」后台,回复「原论文」可获取论文pdf和代码链接添加微信:dddvisiona,备注:三维重建,拉你入群。文末附行业细分群1、导读文本到3D生成旨在根据文本提示合成生动的3D对象,虽然现有的一些工作在这项任务上取得了令人印象深刻的结果,但它们主要依赖于耗时的优化范例。具体来说,这些方法从头开始针对每个文本提示优化神经场,大约需要一小时或更长时间才能...

3D视觉工坊 622

ISCA2023#论文题目汇总

ISCA#2023

weixin_46191137的博客 1437

LangGraph的容错机制:从节点失败到图级回滚

核心概念铺垫:讲解LLM应用容错与事务性的核心概念(幂等性、重试策略、降级策略、快照、回滚、原子性、一致性、隔离性、持久性、最终一致性),对比LangGraph容错机制与传统数据库ACID事务、Apache Airflow/Kubernetes Workflow/Kubeflow Pipelines容错机制的异同;LangGraph容错机制的演进历史:用markdown表格梳理LangGraph从0.0.1到1.5.0(截止202X年X月)的容错机制发展历程;节点级别的容错:重试与降级。

AI Python 编程之道的博客 171

可计算存储赋能人工智能,解读 ISCA 2023 论文 ECSSD:软硬件协同的盘内极限分类

在AI领域,分类任务关键且广泛应用。但随着数据量和分类规模增长,分类任务占预测算法时间开销的30%-60%。极限分类任务的参数规模已超过CPU或GPU内存,常规计算机体系结构下需存储在外部设备,计算时再传输到内存,导致数据搬移瓶颈,降低系统性能。ISCA 2023的ECSSD提出利用可计算存储架构解决这一瓶颈,通过硬件加速器电路与数据布局的深度协同设计,为极限分类提供高速、高能效解决方案。 这将推动存储计算技术演进,促进存储与计算的深度融合。

pumawave的专栏 1286

安卓 实现灯光闪过效果

有个小需求,给按钮加一个灯光划过的效果,这样的需求一般有UI,肯定就找UI了要个gif图不就完事了,可是这次没有,好久自己做一个嘛。Web端的大佬实现很快,到安卓这边呢,百度一搜发现诶?怎么没有,好吧自己来一个 一切动效相关的不给图看都是耍流氓 所以俺不能这么干啊,OK!直接上效果图,再来解释下怎么实现的 效果就是这样子,怎么实现呢? 从图分析下,就是一个光写着重左边移动要右边循环嘛,这有啥难的?? 来看一看我的第一版,第二版 这是个什么?????一点都不像啊? 赶紧再问了问Web端大佬,噢,加了一个

SummerCloudXT的博客 1378

ADS谐波平衡仿真自动优化报错?三步搞定HB控件设置(附常见错误排查)

本文针对ADS谐波平衡仿真在自动优化中常见的报错问题,提供了三步核心排查法。首先检查并禁用HB控件中可能导致冲突的小信号仿真模式,其次合理化仿真频率与扫描参数设置,最后审视优化变量与目标的定义。通过精准配置HB控件以适配自动优化流程,能有效解决大多数仿真失败问题,确保非线性电路设计顺利进行。

c2d3e4f的博客 787

分离式内存(Disaggregated memory)简介

分离式内存系统旨在提供一种动态调整节点内存资源的机制。其期望在中小集群上(100 块CPU以内)提供一种延迟介于访问NUMA远端内存和访问最新NVMe SSD的之间的内存访问手段。

ibless的博客 3736

AutoDock Vina多配体对接 (Simultaneous Multiple Ligand Docking)

多配体分子对接(Simultaneous Multiple Ligand Docking, SMLD)或(Multiple Ligand Simultaneous Docking, MLSD)是一种分子对接技术,用于将多个配体(小分子药物候选物)同时对接到一个蛋白质分子的结合位点。与传统的分子对接技术不同,传统方法通常只考虑一个配体与一个蛋白质的相互作用。SMLD的目标是更高效地研究多个配体如何与同一个蛋白质相互作用,以寻找潜在的药物候选物。

MurphyStar的博客 7143

RecNMP

近存计算--关于个人推荐系统的硬件设计与软件协同优化

domoNaruto的博客 1789

PADS VX2.4差分对设置避坑指南:常见错误与解决方案

本文深度解析了在PADS VX2.4中进行高速PCB设计时,差分对设置的核心要点与常见陷阱。针对Layout规则设置、Router布线实战中的阻抗控制、线长匹配等关键环节,提供了具体的避坑指南和解决方案,帮助工程师确保信号完整性,提升设计质量。

weixin_29216049的博客 359

CANoe_Demo_下载以及安装教程

CANoe Demo下载安装流程

Jar_Lee的博客 1万+

2024年第十届计算机与技术应用国际会议(ICCTA 2024)即将召开!

​​2024年5月15-17日奥地利维也纳 (线上+线下会议)

2301_78601484的博客 1657

DeepSeek-V3本地Docker容器化部署

通过以上步骤,你可以在本地上成功通过容器化部署DeepSeek-V3。安装完成后,启动Docker Desktop。如果需要后台运行,可以加上。

u013302168的博客 2122

中国计算机学会推荐国际学术会议----计算机系统与高性能计算

中国计算机学会推荐国际学术会议  (计算机系统与高性能计算) 一、A类 1 ASPLOS Architectural Support for Programming Languages and Operating Systems ACM http://www.acm.org/pubs/contents/ proceedings/series/asplos 2 FAST Conference on ...

iOptimize-Lab 爱优化实验室 3222

yolov5改进之Fasternet主干网络替换

fasternet替换yolov5主干网络

qq_41920323的博客 5143

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

数据中心内存相关概念辨析

在论文阅读中经常出现以内存为中心的数据中心架构(Memory-centric Architectrue)、内存池化系统(Memory Pool System)、分解式内存(Disaggregated Memory)、异构内存(Heterogeneous Memory)等概念, 在此进行这些概念的辨析。主要涉及xx架构,xx系统,以及xx资源单体等概念。

很注重数学和408 1439

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

大模型量化概述

可以根据实际业务需求将原模型量化成不同比特数的模型,一般深度神经网络的模型用单精度浮点数表示,如果能用有符号整数来近似原模型的参数,那么被量化的权重参数存储大小就可以降到原先的四分之一,用来量化的比特数越少,量化后的模型压缩率越高。)发现对于LLM的性能,权重并不是同等重要的,通过保留1%的显著权重可以大大减少量化误差。因此,引入了一种新的策略,涉及通道级的平移和缩放操作,以纠正异常的不对称呈现,并减轻问题通道的影响,并定量分析了平移和缩放的最佳值,同时考虑了异常的不对称性以及下一层权重引起的量化误差。

吃果冻不吐果冻皮 4022

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

深入解读ROLEX分离式内存系统:FAST’23 最佳论文揭秘

如果将内存资源从计算节点分离出来,放在专门的内存节点上,然后通过高速网络连接,实现内存的动态配置和共享,那么系统将更加灵活高效。这就是ROLEX的愿景,一种基于学习索引的分离式内存系统,提供透明的内存扩展和共享,同时保证高性能、一致性和高可扩展性。ROLEX是华中科技大学的华宇教授团队发表在信息存储领域顶会USENIX FAST’23上的文章,获得会议最佳论文。 本文将带您深入了解ROLEX的研究背景、技术原理、实现细节、评估结果和研究贡献,以及作者的写作技巧。

pumawave的专栏 1959

ccf a类会议_ISCA'21截稿在即,阿里或成为国内在该会议上的最大赢家!

ISCA,全称International Symposium on Computer Architecture,体系结构领域的顶级会议,由ACM SIGARCH(计算机系统结构特殊兴趣组)和IEEE TCCA(计算机架构技术委员会)联合举办。ISCA创办于1973 年,历史悠久的老牌体系结构顶会,在计算机领域的各种应用和人才遍地开花、大数据与深度学习引发新的发展浪潮的当代,其规模也有所扩...

weixin_39924486的博客 2988

计算机专业顶级学术会议

计算机学院TOP40: 一、A类 1.ASPLOS: International Conference on Architectural Support for Programming Languages and Operating Systems.是ACM开办的一个以体系结构内容为核心的多学科会议,其研究领域跨越硬件、体系结构、编译器、编程语言、操作系统、网络和应用,尤其关注这些学...

weixin_30487701的博客 1392

Logical Memory Pools: Flexible and Local Disaggregated Memory——论文泛读

利用CXL实现分离式内存,本文提出逻辑内存池,在每个服务器中分割出部分本地内存来创建内存池,而不是使用与服务器分离的物理内存池。在逻辑上将每个服务器的内存划分为私有和共享区域,其中所有共享区域的并集构成了分离式内存。局限性:但这种方法丢失了CXL扩展内存的优势。

重新开始写博客 813

如何提高SSD内部的并行性:增加带宽?提供多种路径?设计新架构?

源闪存控制器发送探测包,以识别和保留到目标芯片的路径,期间使用路由算法(非最小全自适应路由算法)将探测包从源闪存控制器路发送到目标闪存芯片,并保留探测包到达目标节点的互连网络链路,当探测包到达目标闪存芯片时,Venice已经保留了无冲突的前向和后向路径,接着使用反向路径将探测包发送回源闪存控制器。如下图,闪存命令控制器保持不变,主要的区别在于引入了分组,在信号到达闪存之前,在接口引入适当的数据包头,这种方法在不利用传统控制信号的情况下,将通信信号(或带宽)的数量有效地增加了约2倍。

hzp666的博客 1286

SDM: Sharing-enabled Disaggregated Memory System with Cache Coherent Compute Express Link——论文阅读

阅读论文,记录大体内容和问题

重新开始写博客 1464

UniMem: Redesigning Disaggregated Memory within A Unified Local-Remote Memory Hierarchy——论文阅读

针对分离式内存的优化,现有基于缓存一致性的系统受限于:额外的地址转换;缓存抖动和缓存污染问题。本文提出UniMem,基于缓存一致性的DM系统。包括3个技术:(1)重新设计远程内存机制,将远程内存池直接暴露给CN的物理内存空间,消除间接层。(2)重新设计了本地缓存机制,类似S3FIFO。为频繁访问的页保留大部分缓存空间,在很少或没有重用的情况下迅速驱逐页面。保留了被驱逐块的地址,以检测重用的页面。(3)页面迁移机制,根据页面热度和热碎片进行页面迁移。促进按进程批量迁移常用页面,以摊销页面迁移开销。

重新开始写博客 1013

OLMo 以促进语言模型科学之名 —— OLMo Accelerating the Science of Language Models —— 全文翻译

为了这个目的,这份技术报告详述了 OLMo 的第一个发行版,这包括一个达到高水准的、真正开源的语言模型,和它构建和研究语言模型科学的的整个框架流程。语言模型在自然语言处理的研究中和商业产品中已经变得无所不在。因为其商业上的重要性激增,所以,其中最强大的模型已经闭源,控制在专有接口之中,保持特别是训练数据、架构和开发的重要的细节秘而不宣。考虑到科学地研究这些模型的细节的重要性,包括他们的偏见和潜在风险,我们坚信能够把玩强大的、真正开源的语言模型,对于科学研究社区是非常重要的。未完待续 ... ...

eloudy的专栏 741

英文投稿的一点经验【转载】

<br />英文投稿的一点经验【转载】<br />1. 首先一定要注意杂志的发表范围, 超出范围的千万别投,要不就是浪费时间;另外,每个杂志都有他们的具体格式要求,一定要按照他们的要求把论文写好,免得浪费时间,前些时候,我的一个同事向一个著名的英文杂志投稿,由于格式问题,人家过两个星期就退回来了,而且说了很多难听的话,说投稿前首先就应该看清楚他们的格式要求;<br />2. 论文写作一定要言简意赅,特别是摘要,引言和结论部分,特别是摘要和结论不能重复,发现有很多论文这两部分没有差别, 个人认为, 摘要是引人

jianwushuang的专栏 2万+
上一篇: 【全年汇总】2023年CCF网络与信息安全会议截稿时间汇总(持续更新)
下一篇: PLDI‘23 | June 17-21,编程语言领域顶会, 北大、南大、浙大学者担任Review Committee!
CS_Conference
博客等级 码龄4年 10粉丝 18原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值