peidezhi的专栏

NotAssignedReplicaException kafka.common.KafkaException: Should not set log end offset

1 CDH Kafka实例出现红色告警offline partition2 查看CDH 图表实例：发现从4月14号3：20 ，到今天4月15号一直保持offline partitions数量和under replicated数量不变。3 在命令行查看under replicated parttion 状态的topic./kafka-topics.sh --d...

1 环境说明。 源集群kafka使用了kerberos安全认证 目标集群没有使用安全认证。2 配置步骤： 2.1 添加kafkamirror2.2添加 Kafka 源集群和目标集群配置2.3 配置需要同步的topic.逗号分隔支持。| 分隔 所有topic: ^.*, 为正则表达式。2.3 有些老版本的CDH可能要配置z...

1 直接上代码：public class JavaKafkaWithKerberos { public static void main(String[] args) throws Exception{ System.setProperty("java.security.auth.login.config", "d:/myconf/jaas.conf"); ...

参考文档：https://www.jianshu.com/p/dd73b318e743 vi jaas.confKafkaClient{com.sun.security.auth.module.Krb5LoginModule requireduseTicketCache=true;renewTicket=true;};vi client...

1创建topic在/opt/cloudera/parcels/CDH/lib/kafka/bin目录下：./kafka-topics.sh --create --zookeeper cdh03:2181 --replication-factor 2 --partitions 3 --topic test2查看指定topic./kafka-topics.sh --describ...

12 客户端写入参数。batch.size通过这个参数来设置批量提交的数据大小，默认是16k,当积压的消息达到这个值的时候就会统一发送（发往同一分区的消息）linger.ms这个设置是为发送设置一定是延迟来收集更多的消息，默认大小是0ms（就是有消息就立即发送）满足上述任意一条件即发送消息。注： 如果批量16K或者时间大于0， 会有消息延迟。 需视情况...

1 写入过程负载均衡： 我们知道写入的时候都要提供broker信息，而每个broker都可以获取到topic的元数据信息。 在发送前，producer就已经将record分区，可能是自定义或默认分区。达到发送阈值后将相同分区的数据批量发送。 根据分区，自然知道对应的lead broker所在节点。由此达到负载均衡。2 controller broker....

一、broker级静态参数1log.dirs 数据保存路径在线上生产环境中一定要为log.dirs配置多个路径，比如/home/kafka1,/home/kafka2,/home/kafka3这样。如果有条件的话你最好保证这些目录挂载到不同的物理磁盘上。这样做有两个好处：a)提升读写性能： 比起单块磁盘，多块物理磁盘同时读写数据有更高的吞吐量。...

一 、性能监控1 查看机器负载top：右上角load average 的 3 个值 1.29 ，0.74， 1.34 代表过去1分钟、5分钟 、15分钟load average假如 load值为5.2, cpu核数为4 ，则存在进程抢不到CPU。 如下值1.29说明负载较小，均负载在1.29/4 = 0.32如果load值越来越大，说明负载持续增加4 个 CPU 核...