zholeiv5

Topic Tools Pagehttps://cwiki.apache.org/confluence/display/KAFKA/Replication+toolsKafka has four core APIs: Producer API、Consumer API、 Streams API、Connector API

val props = new Properties() props.put("bootstrap.servers", "localhost:9092") props.put("acks", "all") props.put("retries", 0) props.put("batch.size", 16384) props.put("linger.ms", 1) props.put("buffer.memory", 33554432) props.p

package com.zholei.kafkaprjimport org.apache.kafka.clients.consumer.ConsumerRecordimport org.apache.kafka.common.TopicPartitionimport org.apache.spark.rdd.RDDimport org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.InputDStreamimpo

KafkaKafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。1.前言消息队列的性能好坏，其文件存储