gym02的博客

Producer API添加依赖<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0</version></dependency>相关APIKafkaProducer：需要创建一个生产者对象，用来发送数据。Pro

消息队列的两种模式（1）点对点模式（一对一，消费者主动拉取数据，消息收到后清除）消息产生者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费信息。消息被消费后，Queue中不再有存储，所以消息消费者不可能消费已经被消费的消息，Queue支持存在多个消费者，但是对于一个消息而言，只有一个消费者可以消费。（2）发布\订阅模式（一对多，消费者消费数据之后不会清除信息）（Kafka消息队列对应的模式）消息生产者（发布）将消息发布到topic中，同时有多个消息消费者（订阅）消费该消息。和

默认策略-重新计算：如果RDD依赖关系仅是窄依赖，只需要重新计算一次故障分区就可以了；如果RDD依赖关系既有窄依赖又有宽依赖，需要重新计算故障分区之前的所有的分区数据，仅保留故障分区的数据。RDD进行持久化：将指定RDD的内容持久化自盘或者内存中；在重复计算或者结果复用时，直接从内存或者磁盘中恢复RDD的数据。RDD持久化Checkpoint：将某个计算过程数据作为检查点持久化保存到共享的分布...

RDD依赖关系决定了Stage拆分sc.textFile("hdfs://Spark:9000/words.txt") // 数据源RDD.flatMap(_.split(" ")) // 数据源RDD ---> FlatMap RDD.map((_,1L)) // FlatMap RDD ---> ...

Spark是一个快如闪电的统一分析引擎，用来做大规模的数据处理。快的原因：1.Spark基于内存式计算，能够提供非常高效的计算能力。2.Spark支持任务的细粒度拆分，负责的计算任务会划分多个Stage（阶段），每一个阶段都支持分布式并行计算。3.Spark计算中间计算结果支持缓存（Cache），在结束复用和故障恢复可以提供非常高效的处理性能。4.Spark框架在传统的大数据处理框架的基...

Kafka Streams构建于Kafka本地集成的容错功能上。kafka分区具有高可用性和复制，因此当流数据持久保存到Kafka时，即使应用程序失败并需要重新处理时也可用。Kafka Streams中的任务利用Kafka消费者客户端提供的容错功能来处理故障。如果任务运行的计算机故障了，Kafka Streams会自动在其余一个正在运行的应用程序实例中重新启动该任务。Kafka Streams还...

Windowing在流式计算中将流数据按照时间划分为一个个窗口区间，对窗口区间内的数据引用计算规则，并获得窗口计算结果。Trumbling（翻滚窗口）特点：大小固定，窗口和窗口简的数据无重合相关代码：stream .flatMapValues(line -> Arrays.asList(line.split(","))) .map((k, v) -> new KeyVa...

Kafka Streams适用于构建应用程序和微服务的客户端库，其中输入和输出数据存储在kafka集群中。它结合了在哭护短编写和部署标准Java和Scala应用程序的简便性一级kafka服务器端集群技术的优势。概述：1）kafka Streams类库用于构建实时计算处理应用2）输入和输出来源于kafka3）编程语言支持Java和Scala4）集结kafka服务器端集群技术优势（可靠，容错等...