Spark Streaming
关注
分享
扫一扫
文章平均质量分 62
SetsunaMeow
一只对技术有点追求的喵
展开
-
Spark学习笔记：基于HDFS的实时计算WordCount
基于HDFS实时计算WordCount原创 2018-09-16 12:19:58 · 382 阅读 · 0 评论 -
Spark学习笔记：StreamingContext详解
StreamingContext的创建及要点原创 2018-09-14 22:46:02 · 1827 阅读 · 0 评论 -
Spark学习笔记：基于Socket的实时计算WordCount
基于Socket的实时计算WordCountSocket简述Socket（套接字），用来描述IP地址和端口，是通信链的句柄，应用程序可以通过Socket向网络发送请求或者应答网络请求。Socket是支持TCP/IP协议的网络通信的基本操作单元，是对网络通信过程中端点的抽象表示，包含了进行网络通信所必须的五种信息：连接所使用的协议，本地主机的IP地址，本地远程的协议端口，远程主机的IP地址以...原创 2018-09-14 19:56:38 · 489 阅读 · 0 评论 -
Spark学习笔记：Spark Streaming与Spark SQL协同工作
Spark Streaming和Spark SQL协同工作原创 2018-09-19 17:32:48 · 1472 阅读 · 0 评论 -
Spark学习笔记：DStream基本工作原理
DStream基本工作原理及批处理时间间隔原创 2018-09-14 10:52:41 · 2787 阅读 · 3 评论 -
Spark学习笔记：Spark Streaming工作原理
目录 Spark Streaming概述一、Apache SparkSpark CoreSpark SQLSpark Streaming二、Spark Streaming处理数据的流程1.数据源2.数据处理3.存储结果三、Spark Streaming工作原理Spark Streaming概述目前对于流式数据实时处理方案主要有两种：一条一条数...原创 2018-09-14 09:49:03 · 1192 阅读 · 0 评论 -
Spark学习笔记：Spark Streaming算子开发实例
Spark Streaming算子开发实例原创 2018-09-19 16:20:34 · 948 阅读 · 0 评论 -
Spark学习笔记：DStream的transformation操作概览
DStream的transformation操作概览一.Spark Streaming开发步骤创建输入DStream，如将Flume、Kafka、HDFS和Socket等作为数据源 对输入DStream进行转换操作 对转换后的DStream进行输出操作，比如存储到DBMS中二.DStream分类Input DStream，是最原始最初的DStream，它是依据不同的数据源创建的，...原创 2018-09-16 22:21:46 · 822 阅读 · 0 评论 -
Spark学习笔记：输入DStream和Receiver详解
DStream和Receiver的一些细节原创 2018-09-16 20:36:04 · 464 阅读 · 0 评论 -
Spark学习笔记：Spark Streaming数据存储与调优
Spark Streaming数据存储与调优原创 2018-09-24 20:49:03 · 1956 阅读 · 0 评论