hucuoshi8718的博客

Flume 1个进程： source channel sink Kafka 3个进程： producer（生产者）-- broker（进程）–consumer(消费者) flume–kafka–sparkstreaming/flink 主要使用生产者与消费者的api Topic kafka需要根据业务创建多个主题 需要注意的一点是，最终数据是落在磁盘上的文件夹（存储在linux系统中）主要存储在...

Receiver方式 这种方式是在executor上启动一个receiver进程，固定时间间隔拉取一定的数据到内存中，再进行计算，这样会导致内存溢出，随着发展，当数据量到达一定的阀值会save data to WAL也就是会写入磁盘中。Receive方式会自动保存offset到zk中， Direct方式 直接连接到kafka的分区上，效率高，不会自动维护偏移量，需要自己维护偏移量offset ...