Spark
关注
分享
扫一扫
Spark的死对头专栏
静谧之心
专业摩的佬
业余吉他手
退役喷子
拍照小法师
展开
-
Spart shell 运行 word count 示例
因为每个worker需要工作同一文件上, 所以需要通过hdfs来访问 sc.textFile("hdfs://hadoop-01:9000/aaa") .flatMap(_.split(" ")) .map((_,1)) .reduceByKey(_+_) .sortBy(_._2,false) .collect ...原创 2020-02-04 03:30:57 · 298 阅读 · 0 评论 -
Spark 1分钟简洁集群搭建 并提交第一个新手程序
准备环境 安装JDK不需要安装Scala 上传spark安装包 解压spark并修改配置文件（两个配置文件，第一个配置文件添加了3个配置文件） 将配置好的spark安装程序拷贝给其他机器for i in {5…8}; do scp -r /bigdata/spark-2.2.0-bin-hadoop2.7/ node-$i:/bigdata; done 启动spark (s...原创 2020-01-20 08:05:25 · 1824 阅读 · 0 评论