zilong230905的专栏

本程序参照spark-streaming kafka官方示例注意：官方提供的spark-streaming-kafka调用借口，java和scala使用是不同的1.本次的程序为（以local[2]方式启动）本次主要学习spark-streaming-kafka接口KafkaUtils.createDirectStream

本次部署参照官方的quick start，链接：http://kafka.apache.org/quickstart本次部署kafka版本 kafka_2.11-0.10.2.0.tgz，下载地址为http://kafka.apache.org/downloads

centos7编译kafka-manager-1.3.3.18.zip, 支持kafka1.1.01. sbt安装curl https://bintray.com/sbt/rpm/rpm | sudo tee /etc/yum.repos.d/bintray-sbt-rpm.repoyum install -y sbt2. 下载 kafka-manager-1.3.3.18.zip...

成功Rebalance的结果是，被订阅的所有Topic的每一个Partition将会被Consumer Group内的一个（有且仅有一个）Consumer拥有。每一个Broker将被选举为某些Consumer Group的Coordinator。某个Cosnumer Group的Coordinator负责在该Consumer Group的成员变化或者所订阅的Topic的Partititon变化时协...

       尽管kafka的消息保存在磁盘中，kafka依然有着高吞吐率，支持每秒百万级的写入请求，一个重要的原因是kafka使用了多项linux系统调用，使得读写速度那么快。本篇首先简要介绍kafka，然后说明kafka使用的linux系统调用mmap和sendfile。       kafka的broker为消...