军军的专栏

spark集群搭建及介绍：敬请关注数据集：http://pan.baidu.com/s/1sjYN7lF总结：使用sparkR进行数据分析建模相比R大致有3-5倍的提升查看原始数据集：通过iris数据集生成[root@master data]#pwd/data[root@master data]#ls -lhsrt iris1g.txt1.3G -rw-r-

spark集群搭建及介绍：敬请关注数据集：http://pan.baidu.com/s/1i4yMwHB总结：sparkR通过data.table中的fread函数读取大数据集，相比于正常读取方式大致有3-5倍的提升；在重新处理大数据集是，最好重新登录R或者sparkR环境，因为建模或预测占用了大量的内存，不能及时释放。 查看原始数据集：通过iris数据集生成[root@mas