[daily paper 5]2023 03 03 2019 54 Efficient SpMV Operation for Large and Highly Sparse Matrices

原创

已于 2023-03-05 23:05:45 修改 · 179 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#矩阵 #算法 #线性代数

于 2023-03-04 15:09:27 首次发布

该论文提出了针对大型高度稀疏矩阵的two-stepSpMV算法，通过切割矩阵和向量并使用MergeCore进行多路合并。文章还讨论了Prefetch和RadixPre-sorter的优化策略，以及在处理权力律图时使用BloomFilter检测HighDegreeNodes的方法。

论文链接

这篇文章是CMU这个大学的人写的，CMU全称Carnegie Mellon University，卡内基·梅隆大学，是坐落于美国宾夕法尼亚州的匹兹堡的私立大学。

本文章提出了一种针对大型高度稀疏矩阵的SpMV算法及硬件结构。高度稀疏（Highly Sparse）指nnz<N，N是长/宽。

这个算法叫做two-step SpMV，第一步是将矩阵切成很多竖直细条，细条的宽度为 $d_{page}$ ，同时x也这样切，然后每一个细条乘上x的对应部分，得到很多中间稀疏向量；第二步是将中间稀疏向量合并。如下图所示：

Two-Step SpMV

第一步是切割后的A和x相乘，最后得到中间稀疏向量 $v^0..v^{n-1}$

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

TanixLu

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

[daily paper 4]2023 03 02 2019 65 CASpMV A Customized and Accelerative SpMV Framework for the Sunway

mynameisltx的博客

03-03

288

针对神威太湖之光架构的SpMV优化

distributed sparse matrix SPMV（分布式稀疏矩阵的spmv操作）

lizhengjiang的专栏

04-30

2115

分布式vector，不存在各procs上的部分vector通信的问题，即各部分的vector是独立的。而分布式矩阵（dsm)，在各procs所持有子矩阵的边界上，需要与邻居procs通信。dsm的通信系数，在mpi_matrix里面给出了。具体到spmv 操作中： 1 通信，得到+ghost矩阵：矩阵（边界）元素发送／接受 47 for(int i=

参与评论您还未登录，请先登录后发表或查看评论

[daily paper 2]2023 02 28 2014 189 Performance Analysisand Optimization for SpMV on GPU Using PMF

mynameisltx的博客

03-01

195

使用定量方法分析不同稀疏矩阵存储格式占用空间以及在SpMV在GPU上的运算时间

[daily paper 10]2023 03 10 2014 217 Efficient SpMV on GPUs using the CSR storage format

mynameisltx的博客

03-11

265

高效GPU SpMV框架：CSR-Adaptive

[daily paper 3]2023 03 01 2014 116 Performance Optimization Using Partitioned SpMV on GPUs and CPUs

mynameisltx的博客

03-02

172

根据稀疏矩阵行每行的非零元数量，将矩阵行分配给不同的CPU/GPU

[daily paper 12]2023 03 22 2017 117 Sparse matrix vector multiplication on GPGPUs

mynameisltx的博客

03-22

189

SpMV GPU 综述

[daily paper 7]2023 03 05 2011 109 CSX An Extended Compression Format for SpMV on Shared Memory Sys

mynameisltx的博客

03-06

413

稀疏矩阵格式CSX论文阅读笔记

[daily paper 1] 2023 02 27 2014 157 Yet Another SpMV Framework on GPUs

mynameisltx的博客

02-27

259

论文yaSpMV: Yet Another SpMV Framework on GPUs阅读笔记

Performance Analysis and Optimization for SpMV on GPU

04-07

Generally, a parallel application consists of precedence constrained stochastic tasks, where task processing times and intertask communication times are random variables following certain probability ...

On the memory wall and performance of symmetric sparse matrix multiplications in different data structures on shared memeory machines

02-09

在共享内存机器上，对称稀疏矩阵向量乘法（Symmetric Sparse Matrix-Vector Multiplications，SpMVs）作为一种典型的稀疏操作，内存引用与计算的比例很高。根据屋顶线模型（roof-line model），这种操作的性能受限于...

基于C++实现（控制台）应用二维矩阵完成矩阵运算

神仙别闹的自留地

12-01

682

目的是通过课程设计的综合训练，培养学生实际分析问题、解决问题的能力，以及编程和动手能力，最终目标是通过课程设计这种形式，帮助学生系统掌握C这门课程的主要内容，养成良好的编程习惯，更好的完成教学任务。通过本次实验，我更加理解了计算机的思维，如果要实现一个程序的编写的编写就要清清楚楚知道整个程序的流程，如果不清楚程序的流程是很难顺利流畅的编写出程序来，就例如本次实验中的计算矩阵的乘法，如果只是会死记硬背笔算，其实很难实现出程序来。设计思路：使用一个二维矩阵来存储结果，然后使用双重循环结构进行对应元素的相加。

A.每日一题——2435. 矩阵中和能被 K 整除的路径

要努力去发光，而不是被照亮~

12-02

312

A.每日一题——2435. 矩阵中和能被 K 整除的路径解析

word中latex插入矩阵的语法问题

Carlos5en的博客

12-02

177

word中latex插入矩阵的语法问题

线性代数及其应用习题答案(中文版)第一章 线性代数中的线性方程组 1.4 矩阵方程Ax=b(1)

simon_skywalker的博客

11-29

977

矩阵方程Ax = b(1)

从矩阵相关到矩阵回归：曼特尔检验与 MRQAP

lazysnake666的博客

11-29

997

后来，社会网络和心理测量领域的人在做“矩阵相关 / 矩阵回归 + 节点重排（permutation）”的时候，发现本质上也是在做一种“对节点标签做指派（重排），然后看某个二次统计量怎么变”的过程，就把这种。Mantel还会经常出现在这一类图中，皮尔逊相关展示变量之间的关系，Mantel相关计算矩阵之间的相关，在生态学、生信的分析中运用较多，神经影像中的运用场景并不是很多。下同时考虑多个关系矩阵的作用，并在控制协变量（covariates）的前提下，评估某一关系矩阵对目标关系的独立贡献。

W_q,W_k,W_v矩阵是怎么确定的？

Goals1989的博客

12-03

686

摘要：Transformer模型中的W_q、W_k、W_v矩阵是注意力机制的核心可学习参数，通过数据驱动的反向传播优化确定。其本质作用是将输入映射到查询、键、值空间进行特征提取。确定流程包括随机初始化（如Xavier）、训练优化（前向传播计算损失，反向传播更新参数）和最终收敛。这些参数受数据质量、模型结构（如多头注意力）、训练超参数和任务目标影响。人工无法设定这些参数因其需要捕捉复杂的语义特征，而端到端学习能自动发现深层规律并实现泛化。最终确定的参数矩阵编码了输入数据的语义映射关系。

线性代数及其应用习题答案(中文版)第一章 线性代数中的线性方程组 1.4 矩阵方程Ax=b(2)

simon_skywalker的博客

11-29

730

1.4 矩阵方程Ax=b(2)

3Blue1Brown《线性代数的本质》矩阵与线性变换

木梓油

11-29

848

本文摘要：文章解析了线性代数中线性变换的核心概念，通过二维平面的几何变换直观展示线性变换的本质。线性变换需保持直线性、原点固定和网格平行等距。矩阵被视为变换的"动作说明书"，其列向量表示变换后的基向量位置。任何向量的变换结果可通过基向量的线性组合计算得出，具体公式为矩阵与向量的乘法运算。理解矩阵应关联其对应的空间变换动画，而非仅视作数字阵列。

矩阵区间更新TLE?试试二维差分