shyming's blog

数据可靠性保证1）副本数据同步策略2）ISR3）ack 应答机制4）故障处理细节为保证 producer 发送的数据，能可靠的发送到指定的 topic，topic 的每个 partition 收到producer 发送的数据后，都需要向 producer 发送 ack（acknowledgement 确认收到），如果producer 收到 ack，就会进行下一轮的发送，否则重新发送数据。1）副本数据同步策略方案优点缺点半数以上完成同步，就发送ack延迟低选举新的 lead

kafka分区策略1. Range strategyRange策略是对每个主题而言的，首先对同一个主题里面的分区按照序号进行排序，并对消费者按照字母顺序进行排序。在我们的例子里面，排完序的分区将会是0, 1, 2, 3, 4, 5, 6, 7, 8, 9；消费者线程排完序将会是C1-0, C2-0, C2-1。然后将partitions的个数除于消费者线程的总数来决定每个消费者线程消费几个分区。如果除不尽，那么前面几个消费者线程将会多消费一个分区。在我们的例子里面，我们有10个分区，3个消费者线程， 1

项目经验之Kafka压力测试1）Kafka压测用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。kafka-consumer-perf-test.shkafka-producer-perf-test.sh2）Kafka Producer压力测试（1）在/opt/module/kafka/bin目录下面有这两个文件。我们来测试一下[atguigu@hadoop102 kafka]$ bin/kaf

kafka之consumer要配合生产者使用打开一个生产者（把topic改一下）import org.apache.kafka.clients.consumer.ConsumerConfig;import org.apache.kafka.clients.consumer.ConsumerRecord;import org.apache.kafka.clients.consumer.ConsumerRecords;import org.apache.kafka.clients.consumer.

生产者指定分区规则1.编写分区规则类2.生产者类(指定分区)1.编写分区规则类import org.apache.kafka.clients.producer.Partitioner;import org.apache.kafka.common.Cluster;import java.util.Map;public class MyPartitioner implements Partitioner { @Override public int partition(String

拦截器的使用两个拦截器的源码com.jxlg.interceptor.TimeInterceptorcom.jxlg.interceptor.CounterInterceptorimport org.apache.kafka.clients.producer.*;import java.util.ArrayList;import java.util.Properties;public class InterceptorProducer { public static void

添加时间拦截器TimeIntercepto.javaimport org.apache.kafka.clients.producer.ProducerInterceptor;import org.apache.kafka.clients.producer.ProducerRecord;import org.apache.kafka.clients.producer.RecordMetadata;import java.util.Map;public class TimeInterceptor

kafka基础架构1）Producer ：消息生产者，就是向 kafka broker 发消息的客户端；2）Consumer ：消息消费者，向 kafka broker 取消息的客户端；3）Consumer Group （CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。4）Broker ：一台 kafka 服务器就是一个 broke

producer之api1.导入依赖<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.5.0</version><!--根据自己版本导--> </dependency>2.创建topichdfs@hl

kafka集群搭建1.解压2.环境变量3.server.properties4.log4j.properties5.启动6.集群的启停脚本1.解压sudo chmod 777 kafka_2.13-2.5.0.tgzsudo tar -zxvf kafka_2.13-2.5.0.tgz -C /home/hdfs/softwaresudo ln -s kafka_2.13-2.5.0 kafka2.环境变量sudo vi /etc/profileexport KAFKA_HOME=/home/

Kafka命令行操作1）查看当前服务器中的所有topichdfs@hlm1:~/software/kafka$ bin/kafka-topics.sh --zookeeper 192.168.157.133:2181 --listfirst2)创建topichdfs@hlm1:~/software/kafka$ bin/kafka-topics.sh --zookeeper192.168.157.133:2181 --create --replication-factor