李孟的博客

kafka启动停止脚本

 spark读取kafka数据流提供了两种方式createDstream和createDirectStream。两者区别如下：1、KafkaUtils.createDstream构造函数为KafkaUtils.createDstream(ssc, [zk], [consumer group id], [per-topic,partitions] ) 使用了receivers来接收数据，...

      public String title;    public  ConsumerRecords<byte[], byte[]> records;        public KafkaConsumerSimple(String title, ConsumerRecords<byte[], byte[]> records) {        this....

 安装jdk略，zookeeper略创建消息持久化目录/mnt/hadoop/kafka/kafkaLogs下载kafkawget http://www-eu.apache.org/dist/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgztar –zxvf kafka_2.11-0.10.2.1.tgz –C /mnt/Hadoop修改配置confi...

消费生产者样例，kafka用的版本:<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> <version>0.10.2.1</v...

承接url:kafka系列--结构01每个partition的数据如何保存到硬盘：相等于一个巨型文件，被平均分配到多个大小相等segment(段)数据文件中。但每个段segment file 消息数量不一定相等，这种特性方便old segment file 快速删除。默认保留7天数据。Log.retention.hours=168 //segment文件保留的最长时间，超时将被删除。...

整体结构：1.Producer ：消息生产者，就是向kafka broker发消息的客户端。2.Consumer ：消息消费者，向kafka broker取消息的客户端3.Topic ：可以理解为一个队列。4.Consumer Group （CG）：这是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一个consumer）的手段。一个topi...

Kafka简介：1.Apache Kafka是一个开源消息系统，由scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2. Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。3. Kafka是一个分布式消息队列：生产者、消费者的功能。它提...