开源的数据流技术，该选择Redpanda还是Apache Kafka？

本文将比较Apache Kafka和Redpanda两种开源的数据流技术，在云原生实时处理能力上的不同，以及如何在项目中做出选择。  

目前，Apache Kafka不但成为了数据流处理领域事实上的标准，而且带动了同类产品的出现。Redpanda就是其中之一。它是一种轻量级的且兼容C++的Kafka实现。下面，我将和您一起探讨Apache Kafka和Redpanda之间的差异，以及如何对Kafka生态系统、许可证和社区采用等方面产生的影响。

1、Apache Kafka的增长曲线

在Kafka的采用成熟度方面，大多数公司往往或多或少地经历了如下过程：

· 从一个或几个用例开始，快速证明其业务价值。

· 将第一个应用程序部署到生产环境中，并全天候（24/7）地运行。

· 充分利用来自各个领域、业务和技术部门的数据流。

· 迁移到分布式数据中心的中枢系统。

下图展示了使用Maven下载Kafka Java客户端库的用户月活数的增长曲线：

资料来源：Sonatype

显然，各种数据流的潜在用例和商业价值，是Kafka被采用的曲线能够持续增长的主要动因。而下图则展示了各个行业凭借着Kafka的低延迟、可扩展性、可靠性、以及真正的解耦性等特点，在不同的业务场景中创造的丰富数据价值。

2、Redpanda：兼容Kafka的数据流

前面是对Kafka的现状介绍。下面，让我们来看看Kafka领域的新玩家：Redpanda。

作为一个数据流平台，Redpanda在其网站给出了如下市场定位和产品策略介绍：

• 去Java：它是一种既无需JVM，又摆脱了ZooKeeper的基础设施。
• 采用C++设计：此类设计旨在提供比Apache Kafka更好的性能。
• 单一的二进制架构：它并不依赖于其他任何库或节点。
• 自我管理和自我修复：它是一种可用于内部和云端部署的、简单且可扩展的架构。
• 与Kafka兼容：它针对现有应用程序、工具、以及集成的Kafka协议，提供了开箱即用的支持。

3、如何为您的项目选择合适的Kafka实现

我们往往需要从业务案例的需求出发，进行评估与定义。例如：正常运行时间、SLA、灾难恢复策略、企业支持、运营工具、托管式云服务