【Kafka】Consumer配置

点击查看全文

从0.9.0.0开始，下面是消费者的配置。

名称	描述	类型	默认值
bootstrap.servers	消费者初始连接kafka集群时的地址列表。不管这边配置的什么地址，消费者会使用所有的kafka集群服务器。消费者会通过这些地址列表，找到所有的kafka集群机器。	list
key.deserializer	实现了Deserializer的key的反序列化类	class
value.deserializer	实现了Deserializer的value的反序列化类	class
fetch.min.bytes	每次请求，kafka返回的最小的数据量。如果数据量不够，这个请求会等待，直到数据量到达最小指标时，才会返回给消费者。如果设置大于1，会提高kafka的吞吐量，但是会有额外的等待期的代价。	int	1
group.id	标识这台消费者属于那个消费组。如果消费者通过订阅主题来实现组管理功能，或者使用基于kafka的偏移量管理策略，这个配置是必须的。	string	""
heartbeat.interval.ms	使用kafka集群管理工具时，消费者协调器之间的预计心跳时间。心跳的作用是确保消费者的session是活跃的，同时当新的机器加入集群或有机器挂掉的情况下触发再平衡操作。这个配置必须小于heartbeat.interval.ms，而且应该不大于这个值的1/3。为了控制正常的负载均衡的预期时间，这个值可以设置的更小。	int	3000
max.partition.fetch.bytes	kafka集群每个分区一次返回的最大数据量。一次请求的最大内存使用量应该等于#partitions * max.partition.fetch.bytes。这个值必须与kafka集群允许的最大消息数据量差不多大小，否则可能生产者发送了一个消息，大于消费者配置的值。这种情况下，消费者可能会在获取那条消息时堵住。	int	1048576
session.timeout.ms	使用kafka集群管理工具时检测失败的超时时间。如果在session超时时间范围内，没有收到消费者的心跳，broker会把这个消费者置为失效，并触发消费者负载均衡。因为只有在调用poll方法时才会发送心跳，更大的session超时时间允许消费者在poll循环周期内处理消息内容，尽管这会有花费更长时间检测失效的代价。如果想控制消费者处理消息的时间，还可以参考max.poll.records。注意这个值的大小应该在group.min.session.timeout.ms和group.max.session.timeout.ms范围内。	int	30000
ssl.key.password	私钥存储文件的私钥密码。可选配置。	password	null
ssl.keystore.location	私钥存储文件的路径。可选配置，并且可用来作为客户端的双向认证。	string	null
ssl.keystore.password	私钥存储文件的存储密码。可选配置，并且只有

点击查看全文