Spark上矩阵运算库(二)—— 矩阵相乘测试

本文介绍了在HAMA0.1框架下实现的大规模矩阵乘法算法,并针对10000*10000维度的矩阵进行了测试。在小数据集上运行良好,但在大数据集上遇到HDFS相关瓶颈问题。下一步计划包括算法性能比较及集群升级。

目前已经参照HAMA 0.1完成了密集矩阵相乘的所有代码,在小数据集上(例如 1000 * 1000 维度)测试均通过且正确运行。

但是当两个分别是10000 * 10000 维度的矩阵相乘时(每个矩阵的文本文件大小为860MB),在执行saveAsTextFile的Action时,会执行数十小时却依然没有完成,可能是底层HDFS的问题,这是下一步需要解决的问题。

下一步还需要将该算法与Hadoop上HAMA 0.1的矩阵相乘算法、以及单机运行矩阵乘法时间做对比,同时将集群升级迁移至16个节点的集群上。


ps. 夏日感冒确实很不舒服啊,进度稍微受到影响了……

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值