zhaoxiangchong的专栏

大家：   好！ kafka同SparkStreaming的对接，以下是我自己的总结，仅供参数。scala代码如下:package SparkStreamimport org.apache.spark.storage.StorageLevelimport org.apache.spark.streaming.kafka.KafkaUtilsimport org.apache.sp...

大家： 好！ flume同kafka的对接，请参考本质上是将flume作为kafka的生产者来说的，监控一个目录，kafka消费者显示第一步：编辑flume_kafka的配置文件，是在flume的conf 目录下flume-kafka.sh（脚本在后面）说明：此步前提是要先在kafka中创建一个名为kafkatest的topic，第二步：启动flume脚本 bin...

大家好：  sparkStream中作为kafka的生产者,将某个文件中的数据打到kafka中。package Trafficimport java.util.Propertiesimport kafka.producer.{KeyedMessage, Producer, ProducerConfig}import org.apache.spark.{SparkConf, Spa...

应用场景: kafka的多消费者消费同一个topic的数据，并且保证每条记录都能被消费掉实现方式: topic要创建多个partition(partition的个数要大于等于消费者的个数),多个消费者在同一个组之内第一步： 创建topic的多partition，并进行验证,如下所示:[root@hadoop ~]# kafka-topics.sh --list --zookeeper ...