spark两个矩阵相乘

最新推荐文章于 2023-10-24 08:41:26 发布

MiaomiaoShow

最新推荐文章于 2023-10-24 08:41:26 发布

阅读量2.4k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/qq_17641711/article/details/80670547

这篇博客主要介绍了如何在pyspark环境下对形如np.savetxt保存的txt文件中的矩阵进行相乘操作。虽然pyspark文档中关于blockmatrix的乘法描述较少，但博主尝试了实现这一功能，并在Python 2.x和3.x的print语句差异上给出了提示。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from __future__ import print_function


from pyspark.mllib.linalg import Matrices
from pyspark.mllib.linalg.distributed import BlockMatrix
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.mllib.linalg.distributed import RowMatrix,IndexedRowMatrix,IndexedRow
import numpy as np
import sys
def parseVector(line):
    return np.array([float(x) for x in line.split(' ')])
def merge(line):
    tmp = []
    for i in line:
        tmp.extend(i)
    return tmp
def load_data(path):
    data = sc.textFile(path)
    line = data.map(parseVector)
    lines = map(lambda x:x.tolist(), line.collect())
    tmp_list = []
    for i in range(len(lines)):
        tmp_list.append(IndexedRow(i, lines[i]))
    #print(tmp_list)
    rows = sc.parallelize(tmp_list)
    mat = IndexedRowMatrix(