R语言在hadoop的线性回归的可用代码

最新推荐文章于 2020-01-19 20:19:36 发布

转载最新推荐文章于 2020-01-19 20:19:36 发布 · 175 阅读

1 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/thomas2/blog/609136

文章标签：

#大数据 #r语言 #数据结构与算法

本文介绍了一种利用MapReduce技术实现大规模线性回归的方法。通过将矩阵运算拆分成多个子任务并行处理，有效地解决了大规模数据集上的线性回归计算问题。文中详细展示了如何构建输入数据、定义Map和Reduce函数以及最终求解回归系数的过程。

2019独角兽企业重金招聘Python工程师标准>>>

X=matrix(rnorm(20000),ncol=10)

X.index=to.dfs(cbind(1:nrow(X),X))

y=as.matrix(rnorm(2000))

Sum=function(.,YY)

  keyval(1,list(Reduce('+',YY)))

XtX=values(

  from.dfs(

    mapreduce(

      input=X.index,

      map=function(.,Xi){

        yi=y[Xi[,1],]

        Xi=Xi[,-1]

        keyval(1,list(t(Xi) %*% Xi))

      },

      reduce=Sum,

      combine=TRUE)))[[1]]

Xty=values(

  from.dfs(

    mapreduce(

      input=X.index,

      map=function(.,Xi){

        yi=y[Xi[,1],]

        Xi=Xi[,-1]

        keyval(1,list(t(Xi) %*% yi))

      },

      reduce=Sum,

      combine=TRUE)))[[1]]

 solve(XtX,Xty)

转载于:https://my.oschina.net/thomas2/blog/609136