chaohui2638457321的博客

输出操作如下： 1）print()：在运行流程序的驱动结点上打印 DStream 中每一批次数据的最开始 10 个元素。这 用于开发和调试。 2）saveAsTextFiles(prefix, [suffix])：以 text 文件形式存储这个 DStream 的内容。每一批次的存 储文件名基于参数中的 prefix 和 suffix。”prefix-Time_IN_MS[.suffix]”。 3）saveAsObjectFiles(prefix, [suffix])：以 Java 对象序列化的方

1、有状态转换 1.UpdateStateByKey updateStateByKey 操作使得我们可以在用新信息进行更新时保持任意的状态。为使用这个功能，你需要做下面两步： 定义状态，状态可以是一个任意的数据类型。 定义状态更新函数，用此函数阐明如何使用之前的状态和来自输入流的新值对状态进行更新。 使用 updateStateByKey 需要对检查点目录进行配置，会使用检查点来保存状态。 2.编写代码 package com.zch.spark.streaming ​ imp

1、文件数据源案例 需求：读取hdfs上的Herry.txt文件，进行词频统计 package com.zch.spark.streaming ​ import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} ​ /** * Author: zhaoHui * Date: 2022/01/06 * Time: 14:29 * Description: */ ob

1、概叙 1.Spark Streaming是什么 Spark Streaming用于流式数据处理，是准实时的数据处理可以允许秒级别的延迟。 2.特点 易用 容错 易整合到spark体系 3.架构 2、DStream入门 1、WordCount实操案例 1.需求： 使用 netcat 工具向 9999 端口不断的发送数据，通过 SparkStreaming 读取端口数据并统 计不同单词出现的次数 2.添加依赖 <dependency> <...

1、Window 窗口的范围应该是采集周期的整数倍 窗口是可以滑动的，但是默认情况下，一个采集是按照周期滑动的 这样的话，可能造成出现重复数据的计算，为了避免这种情况可以改变滑动的幅度（步长） 关于窗口的两个参数 窗口的时长 滑动的步长 窗口的时长：计算内容的时间范围 滑动的步长：隔多久触发一次计算 package com.zch.spark.streaming ​ import org.apache.spark.S...