pyspark.linalg模块学习

最新推荐文章于 2024-06-04 20:51:16 发布

原创

最新推荐文章于 2024-06-04 20:51:16 发布 · 2.7k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#pyspark #linalg模块

pyspark.ml.linalg模块提供了向量和矩阵类，包括DenseVector、SparseVector、Vectors和DenseMatrix、SparseMatrix。DenseVector支持点积、正则化、非零元素计数等操作；SparseVector具有相同的特性，且优化了存储非零元素。Vectors工厂方法能创建dense和sparse向量，提供计算向量范数和平方距离的功能。DenseMatrix和SparseMatrix则对应稠密和稀疏矩阵，支持转换为其他形式。

class pyspark.ml.linalg.Vector

方法

toArray(): 把vector转换为numpy.ndarray

class pyspark.ml.linalg.DenseVector(ar)

v = Vectors.dense([1.0, 2.0])
u = Vectors.dense([3.0, 4.0])
#可以进行加减乘除
v + u  #DenseVector([4.0, 6.0])
v * u #DenseVector([3.0, 8.0])

方法

dot(other): 计算两向量的点积，支持Numpy array, list, SparseVector, Scipy sparse
norm(p)：计算SparseVector的正则化
numNonzeros(): 非零元素个数
size: 向量大小
squared_distance(other)：到SparseVector或Numpy.array的平方距离
toArray():