Spark
关注
分享
扫一扫
Spark的死对头专栏
静谧之心
专业摩的佬
业余吉他手
退役喷子
拍照小法师
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spart shell 运行 word count 示例
因为每个worker需要工作同一文件上, 所以需要通过hdfs来访问sc.textFile("hdfs://hadoop-01:9000/aaa").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).collect...原创 2020-02-04 03:30:57 · 404 阅读 · 0 评论 -
Spark 1分钟简洁集群搭建 并提交第一个新手程序
准备环境安装JDK不需要安装Scala上传spark安装包解压spark并修改配置文件（两个配置文件，第一个配置文件添加了3个配置文件）将配置好的spark安装程序拷贝给其他机器for i in {5…8}; do scp -r /bigdata/spark-2.2.0-bin-hadoop2.7/ node-$i:/bigdata; done启动spark (s...原创 2020-01-20 08:05:25 · 1947 阅读 · 0 评论