SparkMLlib稀疏矩阵

本文介绍了SparkMLlib中的稀疏矩阵概念,包括稀疏矩阵的定义、Spark中的稀疏矩阵表示方式以及参数含义的详细解析,特别是对colPointers数组的深入理解,帮助读者掌握Spark中处理稀疏矩阵的方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

SparkMLlib中关于矩阵的东西还是比较好理解的,不过在本地矩阵中,有个东西叫稀疏矩阵在理解方面可能会有些问题,所以单独提出来一下。

1.什么是稀疏矩阵?

这个东西我觉得百度说的挺清楚了,尤其是下面这张图很容易理解
这里写图片描述
左边这个叫稀疏矩阵,右边这个叫密集矩阵
简单的理解,就是0在矩阵中的数量是多还是少的事情。

2.Spark中的稀疏矩阵

SparkMLlib中的稀疏矩阵写法是这样的
val sm:Matrix = Matrices.sparse(3,2,Array(0,1,3), Array(0,2,1), Array(9,6,8))
这是一个3×2的即3行2列的矩阵写法
这个东西执行完是这样的
这里写图片描述
也就是 ((9,0),(0,8),(0,6)) 这样的矩阵
通过对比写法,我们很容易理解其中的参数 ,第一个3就是行数,第二个2是列数,第二个Array是非0元素所在行数,第三个Array是非0元素数值
那么,第一个Array是什么鬼?

3.第一个Array是什么鬼

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值