原文见： http://www.cnblogs.com/davidwang456/p/4076097.html业界对于消息的传递有多种方案和产品，本文就比较有代表性的两个MQ(rabbitMQ,kafka)进行阐述和做简单的对比，在应用场景方面，RabbitMQ,遵循AMQP协议，由内在高并发的erlanng语言开发，用在实时的对可靠性要求比较高的消息传递上。kaf

/usr/local/kafka_2.10-0.9.0.1/bin/kafka-run-class.sh kafka.tools.DumpLogSegments --print-data-log  --files /root/00000000000000000001.log

为啥flume1.7那边抽取kafka里面的数据，kafkamanage 里面看不到groupID消费者及groupID、以及offset 管理，都是由客户端API操作的？ 我们那边虽然升级了kafka从0.8到0.9，但是客户端还是老的API，将OFFSET维护在ZK中FLUME将OFFSET维护在 _consumer_offsets  这个topic中，而老的kafkamanage

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test09527

--conf spark.streaming.kafka.maxRatePerPartition=10000 \单位数据条数

1.kafka 中堆积了很多数据，spark streaming 刚开始处理的时候会报OOM异常。 Java heap space spark.streaming.receiver.maxRate=1000   针对createStream生效spark.streaming.backpressure.enabled=true   不起作用 写在代码和作为启动参数shell中，都不起作用

public class MainBak2_ {private static Logger logger = LoggerFactory.getLogger(MainBak2_.class);private static KafkaCluster kafkaCluster = null;public static void main(String[] args)

createStream 只有一个executors 分多个(可配置)receiver 从kafka 拉数据，然后分发给其他executor执行。 这点通过thread dump得到论证。createDirectStream 每个executors都会从Kafka拉数据，每个executor 从kafka的一个分区拉数据。这点通过在kafka单个节点上执行iftop -n -i em1可以看到

17/02/13 15:18:05 WARN consumer.ConsumerFetcherThread: [ConsumerFetcherThread-GROUP_ID_1_], Error in fetch kafka.consumer.ConsumerFetcherThread$FetchRequest@145c6c74. Possible cause: java.nio.BufferUn

1.log4j 自定义输出到kafka appenderpublic class KafkaLog4jAppender2 extends AppenderSkeleton {private Producer producer = null;private String topic = null;private String brokerList = null;priva