夜的博客

准备 三台Linux虚拟机(这里是centos7.5，我将其分别命名为hadoop001、hadoop002、hadoop003) jdk1.8.0_151.tar.gz zookeeper-3.4.6.tar.gz kafka_2.11-0.10.2.2.tgz 配置hosts文件及hostname #在所有节点的hosts文件中最加集群ip。注意一定不要动hosts文件中的前两行...

启动Kafka #前台启动 bin/kafka-server-start.sh config/server.properties #后台启动 nohup bin/kafka-server-start.sh config/server.properties & 创建一个topic bin/kafka-topics.sh \ --create \ --zooke...

在Kafka 创建topic时抛出如下错误信息： Error while executing topic command : replication factor: 3 larger than available brokers: 0 [2019-05-26 13:17:23,160] ERROR org.apache.kafka.common.errors.InvalidReplic...

目录简述消费语义offset的三种管理方式offset管理demo自带offset管理将offset存储在MySQL中 简述 Kafka+Spark Streaming主要用于实时流处理。到目前为止，在大数据领域中是一种非常常见的架构。Kafka在其中主要起着一个缓冲的作用，所有的实时数据都会经过kafka。所以对kafka offset的管理是其中至关重要的一环。一但管理不善，就会到导致数据丢失...