R运行大数据的过程中遇到的问题:不能有负长度矢量

本文介绍了一种解决R语言中大矩阵运算时出现错误的方法。通过调整运算顺序,可以有效避免因生成过大中间矩阵而导致的错误。具体做法是先进行较小规模的矩阵运算再与大规模矩阵结合。

解决办法:

  只能通过一些trick来减小生成的中间矩阵的大小。比如我所遇到的问题是:

我要运行(W%*%H%*%t(H)) 这句话,(W的规模是5000000*10,而H的规模是10*100000)

解释执行W%*%H的时候报错:不能有负长度矢量。

坑爹的中文报错,google发现,和中文有关的R文档、记录真是少得可怜,终于通过英文“negative length vectors are not allowed”这句话,

看到老外们的解释,才知道了,简而言之就是因为数据规模太大,而R系统不允许生成生成数据规模超过2^31的结果。

  改成(W%*%(H%*%t(H)))后,问题就解决了。。。

转载于:https://www.cnblogs.com/xiaoshen555/p/3854676.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值