sparkR调用R的执行分布式计算
环境spark2.4.5,R3.6, install.package("SparkR"),默认sparkR提供的函数支持对应的版本为spark2.4.5不支持2.4.0
如:将data.table,data.frame dt.score数据集转化成sparkR中的dataframe时可以执行sparkR中提供的方法
sparkR默认会覆盖掉R中的方法
如需要调用R中的方法需要指定调用
dataframe作为R和sparkR中的桥梁,不同的是sparkR可以进行分布..
原创
2020-05-16 10:58:42 ·
949 阅读 ·
0 评论