adayan_2015的博客

1）创建kafka的topic（fyy_topic） /home/opt/kafka_2.11-0.10.2.2/bin/kafka-topics.sh --create --zookeeper 01.server.bd:2181,02.server.bd:2181,03.server.bd:2181 --replication-factor 3 --partitions 3 --topic f...

Spark Streaming整合Kafka有两种方式：Receiver和Direct方式 两种方式的区别？ Receiver方式：接收固定时间间隔的数据（放在内存中的），使用Kafka高级的API，自动维护偏移量，达到固定的时间才进行处理，效率低并且容易丢失数据。 Direct直连方式：相当于直接连接到Kafka的分区上，使用Kafka底层的API，效率高，需要自己维护偏移量。（常用） ...