spark向量、矩阵类型

最新推荐文章于 2023-12-19 15:33:24 发布

白乔

最新推荐文章于 2023-12-19 15:33:24 发布

阅读量9.3k

点赞数 4

CC 4.0 BY-SA版权

分类专栏：大数据与人工智能

本文链接：https://blog.youkuaiyun.com/bluejoe2000/article/details/44217949

大数据与人工智能专栏收录该内容

110 篇文章

订阅专栏

本文介绍了如何在Spark中将普通数组转换为Vector，并创建RDD[Vector]进而构建分布式矩阵。还展示了使用统计工具计算矩阵平均值的操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

先来个普通的数组：

scala> var arr=Array(1.0,2,3,4)
arr: Array[Double] = Array(1.0, 2.0, 3.0, 4.0)

可以将它转换成一个Vector：

scala> import org.apache.spark.mllib.linalg._
scala> var vec=Vectors.dense(arr)
vec: org.apache.spark.mllib.linalg.Vector = [1.0,2.0,3.0,4.0]

再做一个RDD[Vector]：

scala> val rdd=sc.makeRDD(Seq(Vectors.dense(arr),Vectors.dense(arr.map(_*10)),Vectors.dense(arr.map(_*100))))
rdd: org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.Vector] = ParallelCollectionRDD[6] at makeRDD at <console>:26

可以根据这个RDD做一个分布式的矩阵：

scala> import org.apache.spark.mllib.linalg.distributed._
scala> val mat: RowMatrix = new RowMatrix(rdd)
mat: org.apache.spark.mllib.linalg.distributed.RowMatrix = org.apache.spark.mllib.linalg.distributed.RowMatrix@3133b850
scala> val m = mat.numRows()
m: Long = 3
scala> val n = mat.numCols()
n: Long = 4

试试统计工具，算算平均值：

scala> var sum=Statistics.colStats(rdd)
scala> sum.mean
res7: org.apache.spark.mllib.linalg.Vector = [37.0,74.0,111.0,148.0]