
spark
夢_殤
心怀梦想且歌且行
展开
-
spark学习1--centOS7.2下基于hadoop2.7.3的spark2.0集群环境搭建
安装步骤如没特殊指明哪台服务器,则说明都是在3台服务器上做同样的操作。 1.准备 1.1 装有centOS7的3台服务器 master 192.168.174.132 node1 192.168.174.133 node2 192.168.174.134 1.2 搭建hadoop集群环境原创 2016-11-23 17:54:36 · 2056 阅读 · 0 评论 -
hadoop学习1--hadoop2.7.3集群环境搭建
下面的部署步骤,除非说明是在哪个服务器上操作,否则默认为在所有服务器上都要操作。为了方便,使用root用户。 1.准备工作 1.1 centOS7服务器3台 master 192.168.174.132 node1 192.168.174.133 node2 192.168.174.134 1.2 软件包 hadoo原创 2016-11-23 11:51:28 · 2901 阅读 · 2 评论 -
spark学习02之app流量统计并排序(JAVA)
转载自龙果学院的视频http://www.roncoo.com/course/view/1af3e9867cb84263a2a1873880205ae1。 有这样一份log日志记录了某时间戳下某个设备访问网站时产生的上行流量、下行流量。 时间戳/设备号/上行流量/下行流量 现在想统计出每个设备号的最早访问时间及总的上行流量、下行流量,最后打印出10转载 2017-10-26 15:45:10 · 1185 阅读 · 0 评论 -
spark学习03之wordCount统计并排序(java)
wordCount就是对一大堆单词进行个数统计,然后排序。从网上找篇英文文章放到本地文档。 pom.xml 4.0.0 com.fei word-count 0.0.1-SNAPSHOT UTF-8 junit junit 3.8.1 test原创 2017-10-27 15:04:18 · 1528 阅读 · 0 评论 -
将应用程序提交到spark环境并将结果输出到hdfs
我们在“hadoop学习1--hadoop2.7.3集群环境搭建” “spark学习1--centOS7.2下基于hadoop2.7.3的spark2.0集群环境搭建” 中已经将hadoop、spark的集群环境都搭建起来了,jdk用的是1.7版本的。 1.启动hadoop集群 centOS7服务器3台 master 192.16原创 2018-01-15 14:54:21 · 6203 阅读 · 0 评论