【中间件学习篇_Kafka】Kafka集群重要参数配置 No.3

Kafka集群重要的参数不仅包含Kafka服务端的配置，其中包含了Broker端参数，主题级别参数，JVM端参数和操作系统级别的参数。下边也是一些标准的配置参数。

一、Broker端参数

1、存储信息相关

• log.dirs:保存日志数据的目录，如果未设置将使用log.dir的配置。是一个非常重要的参数，指定刘 Broker需要使用的若干个文件目录路径，该参数没有默认值，必须亲自指定。
• log.dir:值得注意的是该参数dir后边不加‘s’，只能表示单个路径，对log.dirs属性的补充。

上述两个参数只要设置 第一个参数log.dirs就好，不需要设置log.dir。在生产环境宗一定需要为log.dirs配置多个路径，这多个路径使用CSV格式(使用英文逗号分隔)，比如：/data/kafka1,/data/kafka2,/data/kafka3。如果有条件可以将这些目录挂载到不同的磁盘上，好处是：

• 提升读写性能
• 能够实现故障转移：即Failover。这是Kafka1.1版本时候引入新功能，可以将坏掉的磁盘上的数据自动地转移到其他正常磁盘上，并且Broker也可以正常工作。

2、Zookeeper相关设置

Zookeeper是一个分布式协调服务框架，负责协调管理并保存Kafka集群所有元数据信息，比如集群的那些Broker在运行，创建的topic，每个Topic多少分区以及分区的Leader副本在那些机器上等信息。

• zookeeper.connect: Zookeeper主机地址,也是一个CSV格式参数，可以指定路径。比如：zk1:2181,zk2:2181,zk3:2181 或 zk1:2181,zk2:2181,zk3:2181/kafka。2181为zk默认端口。

3、与Broker连接相关参数

这些参数主要设置客户端程序或者其他Broker与该Broker如何进行通信。

• listeners:监听器，主要告诉外部连接者通过什么协议访问指定主机名和端口开放的kafka服务。由若干个逗号分隔的三元组，每个元组的格式为<协议名称，主机名，端口号>，指定主机名为0.0.0.0来绑定到所有接口，建议最好使用主机名，即Broker端和Client端应用配置中全部填写主机名。留空则绑定到默认接口上。合法监听器列表的示例：PLAINTEXT：// myhost：9092，SSL：//：9091 CLIENT：//0.0.0.0：9092，REPLICATION：// localhost：9093。PLAINTEXT表示明文传输，SSL表示使用SSL或TLS加密传输等；如果侦听器名称不是安全协议，是自己定义的协议名字，则还必须设置listener.security.protocol.map参数来告诉这个协议底层使用的安全协议。
• advertised.listeners:这组监听器供Broker用于对外发布的。
• host.name/port:注意这两个参数不需要指定值，已经过期参数。

4、关于Topic管理

• auto.create.topics.enable:是否允许自动创建Topic。最好设置成false，即不允许自动创建Topic。
• unclean.leader.election.enable:是否允许Unclean Leader选举。Kafka中的每个分区通过副本来提供高可用，在这些副本中只能有一个副本对外提供服务，即所谓Leader副本。并且在选举leader时候，只有保存数据比较多的副本们才有资格竞选，那么如果保存数据较多的副本都挂掉了，通过该参数来控制是否让落后太多的副本竞选Leader。如果该参数设置成flase，则不允许落后太多的副本竞选Leader，那么就没有Leader了，该分区就不可用了；如果设置为True，则允许从落后的副本中选出一个Leader，这样做由于原本保存数据不足可能造成数据丢失。该参数默认使用的为flase。
• auto.leader.rebalance.enable:是否允许定期进行Leader选举，该参数对生产环境影响也是比较大的。设置为true表示允许kafka定期在满足一定条件下对一些Topic分区进行Leader重选举，即leader A可能被强行换成Leader B。每一次换leader代价是非常高的，建议设置成false。

5、数据留存

• log.retention.{hoour|minutes|ms}:控制一条消息数据被保存多长时间。优先级上说ms设置最高、minutes次之、hour最低。
• log.retention.bytes:Broker为保存消息的总磁盘容量大小。
• message.max.bytes:控制broker能够接收的最大消息大小。

二、Topic级别参数

如果同时设置Topic级别参数和全局Broker参数，Topic级别参数会覆盖全局Broker参数的值，而每个Topic都能设置自己的参数值，这就是所谓的Topic级别参数。

1、保存消息方面

• retention.ms:规定该Topic消息被保存的时长，默认为7天。
• retention.bytes:规定为Topic预留多大的磁盘空间，当前默认值为-1，表示可以无限使用磁盘空间。
• max.message.bytes:决定Broker能够正常接收该Topic的最大消息大小。

上述参数可以在 创建Topic时进行设置（kafka-topics.sh） 或 修改Topic时设置(kafka-configs.sh)。

三、JVM参数

Kafka服务端代码使用Scala语言编写的，但是仍需要编译成class文件在JVM上运行。

1、java版本：java 6或7以上的版本

2、JVM端

• KAFAK_HEAP_OPTS：指定堆大小。建议设置JVM堆大小设置成6GB。KAFAK_HEAP_OPTS=--Xms6g --Xmx6g
• KAFKA_JVM_PERFORMANCE_OPTS：指定GC参数，即垃圾回收器参数。如果使用的是java7，如果Broker所在机器CPU资源充足，建议使用CMS收集器，通过指定-XX：+UseCurrentMarkSweepGC开启，否则使用吞吐量收集器，通过指定-XX：+UseParallelGC。如果使用java8 默认使用G1收集器。如：KAFKA_JVM_PERFORMANCE_OPTS=-server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+ExplicitGCInvokesConcurrent -Djava.awt.headless=true。

四、操作系统参数

1、文件描述符限制

      通常情况下将该值设置成一个超大的值。比如：ulimit -n 1000000

2、文件系统类型

      文件系统值得是如：ext3、ext4或XFS。XFS性能要强于ext4.生产环境中最好使用XFS。

3、Swappiness

     将swappiness值设置为一个较小的值，让充分使用物理内存。

4、提交时间（Flush落盘时间）

       向kafka中发送数据并不是真要等到数据被写入磁盘才会认为成功，而是只要数据被写入到操作系统的页缓存（Page Cache）上就可以了，随后操作系统会根据LRU算法会定期将页缓存上的脏数据落盘到物理磁盘上。这个定期由提交时间确定，默认为5秒。一般这个时间太过于频繁，会将其适当的增加提交间隔来降低物理磁盘的写操作。

 

 

参考：极客时间--《kafka核心技术与实战》