滴滴Kafka 云平台建设的初期，所面临的问题和需求

在 Kafka 云平台建设的初期，我们对之前所面临的问题和需求进行了归纳分析，主要有以下几点：

• 数据安全性

由于绝大多数用户使用的kafka topic 都会由公共集群来承载数据的生产和消费，而当前 kafka 引擎在 topic 级别的安全管控手段较为薄弱，任何人只要知道kafka集群地址和相应的topic便可进行消费。这无疑会造成数据泄漏的安全风险，因此数据的安全性成首要被解决的问题。

• 服务的稳定性

滴滴内部绝大部分的 topic 是在共享集群上，共享集群下多 topic 之间存在着相互影响的问题。如某个 topic 的流量突增可能会大面积地影响其他 topic ，从而导致业务的抖动和集群的不稳定。因此在共享集群下，kafka 服务的稳定性也成为了一个必须被解决的问题。

• 用户使用友好性

滴滴内部每周有大量的用户需要进行 topic 的创建、消费、扩partiton、指标查看等操作，用户高频使用的功能需要做的足够的友好和容易上手，这样才能最大的简化用户的操作和减低日常开发和运维人员的答疑成本。因此用户高频操作的平台化支撑，则成为接下来需要解决的问题。

• 问题定位高效性

在日常使用 kafka topic 的过程中，会有大量的问题需要查看和定位，如：消息生产和消费的速度、消息堆积的程度、partition的均匀度、topic的分布信息、broker的负载信息、副本的同步信息等，如何使用户和运维人员快速高效的定位问题、处理问题，是重点需要解决的问题。

• 运维管控便利性

在日常的运维中，会存在着大量的集群、topic的运维操作，如：集群的部署、升级、扩缩容、topic的迁移、leader rebalance等高频高危的操作，怎么样在提升运维操作效率的同时，还要保证高危操作不会影响集群稳定性，这个也是需要去重点考虑。

基于以上考虑，才有了滴滴LogI-KafkaManager这个产品，目前该产品已开源，欢迎点击下方链接体验、提Issue、点击Star。

didi/Logi-KafkaManager