sghuu的博客

在远程搭建了一个单机kafka，该单机上能够常见消费者和生产者，都能正常运行，但是在远程的其他机器上一只无法消费，在远程创建消费者连接是一直报错解决方法 ：修改服务器Kafka配置文件server.properties， 在#listeners=PLAINTEXT://:9092下添加如下一行：advertised.listeners=PLAINTEXT://x.x.x.x:9092 （x.x.x.x为服务器对外的IP）...

内部 —— 利用 checkpoint 机制，把状态存盘，发生故障的时候可以恢复，保证内部的状态一致性source —— kafka consumer 作为 source，可以将偏移量保存下来，如果后续任务出现了故障，恢复的时候可以由连接器重置偏移量，重新消费数据，保证一致性flink在消费kafka的数据时，在恢复状态时并不会使用kafka自己维护的offset，假设：使用kafka自己维护...

自定义消费者，为保证消费数据的安全性，自定义offset的存储于带事务的存储容器Consumer消费数据时的可靠性是很容易保证的，因为数据在Kafka中是持久化的，故不用担心数据丢失问题。由于consumer在消费过程中可能会出现断电宕机等故障，consumer恢复后，需要从故障前的位置的继续消费，所以consumer需要实时记录自己消费到了哪个offset，以便故障恢复后继续消费。所以of...

demo程序使用"KafkaUtils.createDirectStream"创建Kafka输入流，此API内部使用了Kafka客户端低阶API，不支持offset自动提交（提交到zookeeper）。"KafkaUtils.createDirectStream"官方文档：http://spark.apache.org/docs/2.2.0/streaming-kafka-0-8-integr...

转载自：https://www.cnblogs.com/jingangtx/p/11330343.html

1）顺序写磁盘Kafka的producer生产数据，要写入到log文件中，写的过程是一直追加到文件末端，为顺序写。官网有数据表明，同样的磁盘，顺序写能达到600M/s，而随机写只有100k/s。这与磁盘的机械机构有关，顺序写之所以快，是因为其省去了大量磁头寻址的时间。2）零拷贝技术传统的读取文件数据并发送到网络的步骤如下：（1）操作系统将数据从磁盘文件中读取到内核空间的页面缓存；（2）应...

自定义生产者package com.atguigu.kafka;import org.apache.kafka.clients.producer.*;import org.apache.kafka.common.serialization.StringSerializer;import java.util.Properties;import java.util.concurrent.E...

分区原因：1.分区的原因（1）方便在集群中扩展，每个partition可以通过调整以适应它所在的机器，而一个topic又可以有多个partition组成，因此整个集群就可以适应任意大小的数据了。（2）可以提高并发，因此可以以partition为单位读写2.partition的三种分区原则（1）指明partition的情况下，直接将指明的值直接作为partition的值（2）没有指明pa...

kafka基础架构1）Producer ：消息生产者，就是向kafka broker发消息的客户端；2）Consumer ：消息消费者，向kafka broker取消息的客户端；3）Consumer Group （CG）：消费者组，由多个consumer组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消...