qq_43662627的博客

幂等性开启事务

生产者生产者的发送流程简述是 生产者发送数据要经过 拦截器->序列化->分区器->缓冲区->再到sender集群 由kafka的Sender线程 读取消费设置设置批次设置batch.size，linger.ms将延长数据被消费的时间，但能显著地提升生产者的效率ack机制ack不同设置的区别不同的ack机制可能产生的问题ack为-1时吞吐量吞吐最低，数据最安全，可能发生重复ack为1时吞吐量，安全性最均衡ack..

在网上找到一个kafka的可视化的工具（gitee地址），在这个界面可以直接查看kafka的主题，消费者组和偏移量，配置也非常简单，gitee上有非常完善的教程

写测试bin/kafka-producer-perf-test.sh --topic test_perf --num-records 1000000 --record-size 100 --throughput 5000 --producer-props bootstrap.servers=hadoop101:9092以 发送100w条数据，每条数据100个字节，每秒发送5000条为例，结果为测试解析一共发送100w条 每秒写入0.48m信息，每条信息 平均延迟1.07ms，最大延迟573.m

flink接受消费kafka数据，由KeyedProcessFunction监控kafka的数据值，如果十秒内，kafka的数据值连续上升，输出报警语句package redo.sourceimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.api.common.state.{ValueState, ValueStateDescriptor}import org.apa

#创建主题 指定分区一 副本一 bin/kafka-topics.sh --create --topic test2 --bootstrap-server lin:9092 -replication-factor 1 --partitions 1#查看主题bin/kafka-topics.sh --describe --topic test2 --bootstrap-server lin:9092#连接生产者bin/kafka-console-producer.sh