longwenyanlan的博客

1.无论是kafka集群，还是producer和consumer都依赖于zookeeper集群保存一些meta信息，来保证系统可用性。 2.zookeeper作用:统一化目录结构 Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架， 它负责存储和管理大家都关心的数据， 然后接受观察者的注册， 一旦这些数据的状态发生变化， Zookeeper就将负责通知已经在Zo...

kafka 版本 kafka_2.11-0.10.2.1   因为kafka没有批量启动脚本，每次都需要在各个broker节点上启动kafka服务。比较麻烦。   这里自定义一个kafka启动的脚本： #!/bin/bash   BROKERS="hdp-01 hdp-02 hdp-03"   KAFKA_HOME="/root/apps/kafka_2.11-0.10.2.1"   ...

       经常使用 Apache Spark 从 Kafka 读数的同学肯定会遇到这样的问题：某些 Spark 分区已经处理完数据了，另一部分分区还在处理数据，从而导致这个批次的作业总消耗时间变长；甚至导致 Spark 作业无法及时消费 Kafka 中的数据。为了简便起见，本文讨论的 Spark Direct 方式读取 Kafka 中的数据，这种情况下 Spark RDD 中分区和 Kafka...

版本介绍: Springboot:1.5.3 kafka:kafka_2.10-0.10.2.1 配置文件: server.port=6097 spring.application.name=DsInfoservice #============== kafka =================== kafka.consumer.zookeeper.connect=192.168.x...