qq_45453185的博客

大数据Spark中的RDD操作 一、上传1.txt文本到本地，并分为2个区： 二、上传文件到hadoop伪分布式系统 1、启动hadoop 2、查看hadoop根目录文件： 3、上传文本到hadoop伪分布式系统 4、查看文本 5、在spark操作文本： 6、把List 数组乘以2，makeRDD方法和map方法 7、textFile方法和flatMap方法 8、filter方法 ...

Spark单机模式安装，现基于hadoop伪分布模式运行与操作 一、导包： 1.把spark-2.0.1-bin-hadoop2.7.tgz导入software目录并解压 2.进入spark 3.进入conf目录： 4.把文件spark-env.sh.template改名为spark-env.sh 5.进入spark-env.sh配置文件修改 6.进入bin目录 7.进入spark客...