踏雪无痕

一.Kafka使用者和时间戳提取/水印发射 在许多情况下，记录的时间戳（显式或隐式地）嵌入到记录本身。另外，用户可能希望例如基于包含当前事件时间水印的Kafka流中的特殊记录，周期性地或以不规则的方式发出水印。对于这些情况，Flink Kafka Consumer允许指定一个AssignerWithPeriodicWatermarks或一个AssignerWithPunctuatedWatermarks。 可以按此处所述指定自定义的时间戳提取器/水印发射器，或使用预定义的提取器/水印发射器 。这样做之后，可

一.Kafka offset 配置 Flink Kafka Consumer可以配置Kafka分区的起始位置。 代码： //获取数据源 kafka val consumer : FlinkKafkaConsumer09[String] = new FlinkKafkaConsumer09[String]( "spark", new SimpleStringSchema(), properties ) //val hashMap : util.Map[KafkaTopicPartition, java.la

一.原因分析 当Spark从1.x升级到2.x时，如果使用SparkStreaming加载Kafka的数据，即使Kafka版本没有变化【一般会有所升级】，对应的spark-streaming-kafka也必须升级到对应版本，访问方式也会有所变化。 此处是从Spark1.6.0升级到Spark2.4.3，Kafka略有升级【从2.1.0升级到2.2.1】，初始使用的是： import org.apache.spark.streaming.kafka.KafkaUtils val dframe = Kafka

一.简介 Flink提供了特殊的Kafka连接器，用于在Kafka主题之间读写数据。Flink Kafka Consumer与Flink的检查点机制集成在一起，以提供一次精确的处理语义。为了实现这一目标，Flink不仅依赖于Kafka的消费者组偏移量跟踪，而且在内部也跟踪并检查这些偏移量。 对于大多数用户来说，FlinkKafkaConsumer08【08代表Kafka的版本】是合适的。 具体如下： 二.安装Apache Kafka 参考博客：Kafka分布式安装 备注： 按照Kafka快速入门中的说明

一.简介 Flink的基本信息和API信息以及Kafka的基本信息在此不再赘述，需要了解的参考博客： Flink：Flink流处理API编程指南 Kafka：Kafka基本信息 二.代码实战 package cn.kafka import java.util.Properties import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.streaming.api.window

一.场景 因Scala函数式和链式编程使用使得代码简介性相较Java有质的提升，因此，在Flink开发时还是使用Scala进行编程。但是在加载Kafka的数据时报objenesis异常，但是代码中没有使用POJO类。 二.异常信息 D:\Users\Administrator\jdk1.8.0_66\bin\java -Didea.launcher.port=7536 -Didea.launcher.bin.path=D:\Users\Administrator\IDEA15\bin -Dfile.enco

一.场景 kafka集群一般都是部署在zookeeper集群之上的，当Kafka出现异常时，强行关闭kafka集群或zookeeper集群时，重新启动时经常会出现异常InconsistentClusterIdException。 二.异常信息 ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.InconsistentClusterIdExcepti

一.什么是日志？ 日志可能是最简单的存储抽象。它是按时间排序的仅附加的，完全排序的记录序列。看起来像这样： 记录被追加到日志的末尾，并且读取从左到右进行。每个条目均分配有唯一的顺序日志条目号。 记录的顺序定义了“时间”的概念，因为左边的条目定义为比右边的条目更早。日志条目号可以视为条目的“时间戳记”。首先，将这种顺序描述为时间概念似乎有些奇怪，但是它具有方便的特性，即它可以与任何特定的物理时钟分离。当我们进入分布式系统时，此属性将变得至关重要。 记录的内容和格式对于此讨论而言并不重要。另外，我们不能只是继

一.消息传递 Kafka可以很好地替代传统邮件代理。消息代理的使用有多种原因（将处理与数据生产者分离，缓冲未处理的消息等）。与大多数邮件系统相比，Kafka具有更好的吞吐量，内置的分区，复制和容错能力，这使其成为大规模邮件处理应用程序的理想解决方案。 根据我们的经验，消息传递的使用通常吞吐量较低，但是可能需要较低的端到端延迟，并且通常取决于Kafka提供的强大的持久性保证。 在此领域中，Kafka与ActiveMQ或 RabbitMQ等传统消息传递系统相当。 二.网站活动跟踪 Kafka最初的用例是能够将用

一.启动zookeeper集群 zookeeper集群搭建参考：zookeeper集群搭建 备注：一个leader两个follower！ 二.Kafka集群模式搭建 1.配置server.properties ############################# Server Basics ############################# broker.id=0 ############################# Socket Server Settings ########

一.下载，解压 二.启动服务器【先启动zookeeper】 Kafka使用ZooKeeper，因此如果还没有，请先启动ZooKeeper服务器。可以使用kafka的脚本随时来获取快速且高效的单节点ZooKeeper实例。 启动zookeeper： 启动Kafka： 三.创建topic 用一个分区和一个副本创建一个名为“ test1”的主题： 现在，运行list topic命令，可以看到该主题： 四.生产消息 Kafka带有一个命令行客户端，它将从文件或标准输入中获取输入，并将其作为消息发送到Kaf

一.简介 流平台具有三个关键功能： 发布和订阅记录流，类似于消息队列或企业消息传递系统。 以容错的持久方式存储记录流。 处理记录流。 Kafka通常用于两大类应用程序： 建立实时流数据管道，以可靠地在系统或应用程序之间获取数据。 构建实时流应用程序以转换或响应数据流。 首先几个概念： Kafka在一个或多个跨越多个数据中心的服务器上作为集群运行。 Kafka集群将记录流存储在称为topic的类别中。 每个记录由一个键，一个值和一个时间戳组成。 Kafka具有五个核心API： 生产者API允许应