Kafka学习笔记 --- 使用案例/应用方面

• 消息

Kafka很好地代替了传统的message broker（消息代理）。Message Broker可以用于各种场合（如将数据生成器与数据处理解耦，缓冲区未处理的消息）。与大多数消息系统相比，Kafka拥有更好的吞吐量、内置分区、具有复制和容错的功能，这使它成为一个非常理想的大型消息处理应用。根据我们的经验，通常消息传递使用较低的吞吐量，但可能要求较低的端到端延迟，Kafka提供了强大的持久性来满足这一要求。在这方面Kafka可以与传统的消息传递系统（ActiveMQ和RabbitMQ）相媲美。

• 跟踪网站活动

Kafka的初始化将用户活动跟踪管道重建为一组实时发布-订阅源，这意味着网站活动（浏览网站、搜索、其他操作）被发布到中心Topic，其中每个活动类型中有一个Topic。这些订阅源提供了一系列用例，包括实时处理、实时监视、对加载到Hadoop或离线数据仓库系统的数据进行离线处理和报告。每个用户浏览页面时都声称了许多活动信息，因此活动跟踪的数据量通常非常大。

 

• 度量

Kafka通常用于监控数据。这涉及到分布式应用程序中汇总数据，然后生成可操作的数据集中数据源。

 

• 日志聚合

许多人使用Kafka来代替日志聚合解决方案。日志聚合系统通常从服务器收集服务日志文件，并将其置于一个中心系统（可能是文件服务器或HDFS）进行处理。Kafka从这些日志文件中提取信息，并将其抽象为一个更加清晰的消息流。这样可以实现更低的延迟处理而且易于支持