Kafka
关注
分享
扫一扫
Viking_bird
欢迎关注：大鹏的架构之路。每天进步一点点，专注Java与大数据技术分享。
展开
-
kafka-connect-hive sink插件入门指南
面试：你懂什么是分布式系统吗？Redis分布式锁都不会？>>> kafka-connect-hive是基于kafka-connect平台实现的hive数据读取和写入插件，主要由source、sink两部分组成，source部分完成hive表数据的读取任务，kafka-connect将这些数据写入到其他数据存储层中，比如hive到ES数据的流入。sink部分完成向hive表...原创 2019-02-15 17:33:00 · 2764 阅读 · 0 评论 -
kafka-connect-hive sink插件实现要点小结
面试：你懂什么是分布式系统吗？Redis分布式锁都不会？>>> kafka-connect-hive sink插件实现了以ORC和Parquet两种方式向Hive表中写入数据。Connector定期从Kafka轮询数据并将其写入HDFS，来自每个Kafka主题的数据由提供的分区字段进行分区并划分为块，每个数据块都表示为一个HDFS文件，文件名由topic名称+分区编号+o...原创 2019-02-25 11:46:00 · 1113 阅读 · 0 评论