
Spark Streaming
文章平均质量分 78
xipenfei
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark学习(八)---Spark streaming原理
这次我们介绍spark streaming,今天主要是原理和相关的操作Spark Streaming概念介绍Spark Streaming的相关操作1. Spark Streaming概念1.1什么是Spark StreamingSpark Streaming类似于Apache Storm,用于流式数据的处理。根据其官方文档介绍,Spark Streaming有高吞吐量和容错能力强...原创 2018-10-22 12:24:14 · 696 阅读 · 0 评论 -
Spark学习(九)---Spark streaming常用演示
这次我们演示使用使用SparkStreaming对不同数据流读取的简单操作,以单词统计为例接受socket数据,实现单词计数和实现累加使用开窗函数统计时间段内的热词语1. 实现单词计数WordCount1. 1架构1.2 实现流程(1)安装并启动生产者首先在linux服务器上用YUM安装nc工具,nc命令是netcat命令的简称,它是用来设置路由器。我们可以利用它向某个端口发...原创 2018-10-22 23:47:17 · 283 阅读 · 0 评论 -
Spark学习(十)---SparkStreaming和flume的整合
这次我们介绍SparkStreaming和flume的整合,flume作为日志实时采集的框架,可以与SparkStreaming实时处理框架进行对接,flume实时产生数据,sparkStreaming做实时处理。Spark Streaming对接FlumeNG有两种方式,一种是FlumeNG将消息Push推给Spark Streaming,还有一种是Spark Streaming从flume ...原创 2018-10-23 09:27:33 · 913 阅读 · 0 评论 -
Spark学习(十一)---Spark streaming整合kafka
本次介绍sparkStreaming和kafka的整合,主要有两种方式KafkaUtils.createDstream方式KafkaUtils.createDirectStream方式(推荐使用)1. 简单介绍kafka作为一个实时的分布式消息队列,实时的生产和消费消息,这里我们可以利用SparkStreaming实时地读取kafka中的数据,然后进行相关计算。在Spark1.3版...原创 2018-10-23 09:58:09 · 297 阅读 · 0 评论