
Spark
刚毅
这个作者很懒,什么都没留下…
展开
-
SparkStreaming读取指定目录中的文本进行单词计数
SparkStreaming读取指定目录中的文本进行单词计数例子开发和运行环境IDEA 2018.2jdk1.8.0_151scala-2.11.12spark_2.4.0Linux centos 3.10.0-327.el7.x86_64 GNU/Linux Spark版本在pom.xml,配置使用Spark的2.4.0版本 <groupId>...原创 2018-12-21 09:52:10 · 1400 阅读 · 0 评论 -
SparkStreaming+Flume集成例子
1 Flume简介Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方用于收集数据,同时Flume提供对数据的简单处理,并将数据处理结果写入各种数据接收方的能力。官网 http://flume.apache.org/index.html 2 运行环境 事先安装好JDK1.8.0,Spa...原创 2018-12-22 14:25:33 · 413 阅读 · 0 评论