confluent 版本比较 3.0.0 vs 2.0.0

Confluent从2.0.0到3.0.0升了两个版本，中间还有个2.0.1版本。两次升级过程似乎都是和kafka的重要升级相对应的。原文出处：http://docs.confluent.io/3.0.0/upgrade.html

3.0.0 release note:

1. kafka streams

新增功能，JAR包形式，是kafka数据一种轻量化流式处理工具。和流式处理框架如spark streaming等并不冲突。未深入研究；

2. confluent control center

图形化的监控、管理工具，收费；

3. kafka 0.10.0.0

1. 增加kafka streams;
2. 消息压缩时， offset采用相对计数形式，避免重复的解压和压缩；KAFA-2511
3. Rack Awareness，机架感知。使分区的不同副本尽量分布在不同的机架或者zone；KAFKA-1215
4. Timestamps in Mesages，给消息打时间戳。设计说明。老实讲，没有说给处理时长带来多大影响，我又用字段进行分区，不感冒。可以方便看出一段数据的处理耗时也是蛮赞的。
5. Kafka Consumer Max Records，增加了一个控制变量，可以控制一次从kafka中读取的最大记录数。KAFLA-3007
6. Client-Side Interceptor，client加入拦截器，可以加入用户自己处理。设计说明
7. Standardize Client Sequences，规范了consumer接口中序列的类型，统一采用Collection，是易用性的修改；
8. List Connectors REST API，提供REST API可以看到当前处理的connector的类型；
9. Admin API changes，提升命令行，集中管理。设计说明
10. Protocol Version Improvements，增加了kafka client和broker之间的版本兼容性；
11. SASL相关功能增强；
12. Connect Status/Control APIs. 增加了对connect的控制，可以查看conect的状态，可以启停connect。KAFKA-3093,KAFKA-2370,KAFKA-3506
13. 解决kafka访问跨域问题;KAFKA-3578
14. Kafka 改用标准LZ4 KAFKA-3160

4. 其他修改

1. 废了camus；
2. 增加python client;
3. 对schema registry 和rest proxy增加安全性，主要是https；
4. scala producer被废了；

2.0.1 release note:

1. New Java consumer

1. rebalance后部分分区数据读取异常，KAFKA-2978分析
2. kafka consumer获得的数据的offset比预期的小。采用数据压缩情况下可能会重复读取数据。KAFKA-3179
3. Mirror maker无新数据产生情况下后不再commit，影响整集群镜像功能。KAFKA-3157
4. 修改文档关于fetch_min_bytes的描述，默认是1024不是1。KAFKA-3170

2. 安全性和兼容性的升级（略）

3. Performance/memory usage

1. 如果消息数量过小，超时新建segment后，导致后续的fetch可能立即返回，不会等待一定时长。KAFKA-3003
2. 如果segment里面没有数据，consumer会发生异常，并且CPU占用率会增加KAFKA-3159
3. log.cleaner.enable改为默认势能 KAFKA-2988