纸上得来终觉浅，绝知此事要躬行

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消费。

原文地址：https://www.tutorialspoint.com/apache_kafka/apache_kafka_integration_storm.htm在本章中，我们将学习如何将Kafka与Apache Storm集成。关于StormStorm最初是由Nathan Marz和BackType团队创建的。 在很短的时间内，Apache Storm成为分布式实时处理系统的标准，允许您处理...

原文地址：https://www.tutorialspoint.com/apache_kafka/apache_kafka_consumer_group_example.htm消费者群体（group）是来自Kafka主题的多线程或多机器消费。消费群体消费者可以通过使用samegroup.id加入一个组。一个组的最大并行度是该组中的消费者的数量←分区的数量。Kafka将一个主题的分区分配给组中的使用...

原文地址：https://www.tutorialspoint.com/apache_kafka/apache_kafka_simple_producer_example.htm让我们创建一个使用Java客户端发布和使用消息的应用程序。 卡夫卡生产者客户端由以下API组成。KafkaProducer API让我们了解本节中最重要的一组Kafka生产者API。 KafkaProducer API的核...

原文地址：https://www.tutorialspoint.com/apache_kafka/apache_kafka_basic_operations.htm首先，让我们开始实施单节点单代理配置，然后我们将设置迁移到单节点多代理配置。希望你现在已经在你的机器上安装了Java，ZooKeeper和Kafka。 在转移到Kafka集群设置之前，首先您需要启动ZooKeeper，因为Kafka集群...

原文地址：https://www.tutorialspoint.com/apache_kafka/apache_kafka_installation_steps.htm以下是在您的机器上安装Java的步骤。第1步 - 验证Java安装希望你现在已经在你的机器上安装了java，所以你只需使用下面的命令来验证它。$ java -version如果您的计算机上已成功安装Java，则可以看到已安装的Jav...

原文地址：https://www.tutorialspoint.com/apache_kafka/apache_kafka_workflow.htm截至目前，我们已经讨论了卡夫卡的核心概念。 现在让我们来看看Kafka的工作流程。卡夫卡只是分成一个或多个分区的主题集合。 Kafka分区是消息的线性排序序列，每个消息由其索引标识（称为偏移量）。 Kafka集群中的所有数据都是不相关的分区联合。 传入...

原文地址：https://www.tutorialspoint.com/apache_kafka/apache_kafka_cluster_architecture.htm看看下面的插图， 它展示了Kafka的集群图。下表描述了上图中显示的每个组件。序列号组件和描述1BrokerKafka集群通常由多个代理组成，以保持负载平衡。 卡夫卡代理者是无状态的，所以他们使用ZooKeeper维护他们的集群...

原文地址：https://www.tutorialspoint.com/apache_kafka/apache_kafka_fundamentals.htm深入卡夫卡之前，您必须了解主题（topics），代理 (brokers)，生产者(producers)和消费者(consumers)等主要术语。 下图说明了主要术语，表格详细描述了图表组件。在上图中，主题被配置为三个分区。 分区1具有两个偏移因...

原文地址：https://www.tutorialspoint.com/apache_kafka/apache_kafka_introduction.htm在大数据中，使用了大量的数据。关于数据，我们有两个主要挑战。第一个挑战是如何收集大量数据，第二个挑战是分析收集的数据。为了克服这些挑战，您必须使用消息传递系统。卡夫卡专为分布式高吞吐量系统而设计。卡夫卡倾向于非常好地取代传统的信息代理者。与其他...

原文地址：https://www.tutorialspoint.com/apache_kafka/apache_kafka_applications.htm卡夫卡支持当今许多最好的工业应用。在本章中，我们将简要介绍一些卡夫卡最显着的应用。TwitterTwitter是一种在线社交网络服务，提供发送和接收用户推文的平台。注册用户可以阅读和发布推文，但未注册的用户只能阅读推文。 Twitter使用St...

原文地址：https://www.tutorialspoint.com/apache_kafka/apache_kafka_tools.htm卡夫卡工具包在“org.apache.kafka.tools.*”下。 工具分为系统工具和复制工具。系统工具系统工具可以使用run class脚本从命令行运行。 语法如下 -bin/kafka-run-class.sh package.class - - o...

原文地址：https://www.tutorialspoint.com/apache_kafka/apache_kafka_real_time_application.htm让我们分析一个实时应用程序以获取最新的Twitter供稿及其标签。早些时候，我们看到Storm和Spark与Kafka的整合。在这两种情况下，我们创建了一个Kafka Producer（使用cli）向Kafka生态系统发送消息...

原文地址：https://www.tutorialspoint.com/apache_kafka/apache_kafka_integration_spark.htm在本章中，我们将讨论如何将Apache Kafka与Spark Streaming API集成。关于SparkSpark Streaming API支持实时数据流的可扩展，高吞吐量，容错流处理。数据可以从Kafka，Flume，Twi...

Kafka依赖环境：JDK、Zookeeper，首先确保Java环境JDK已安装，其次Zookeeper必须在kafaka启动之前启动。报错问题：PS C:\DEVELOPERS\ApacheKafka\kafka_2.11-2.1.0> .\bin\windows\kafka-server-start.bat .\config\server.properties命令语法不正确。...