flume使用HDFS Sink将数据导入到Hive中
整体流程:avro Source获取数据,然后通过SPILLABLEMEMORY channel,再然后使用hdfs sink将数据落地到hdfs中,最后通过调度系统执行脚本导入到hive中。最初是打算使用hive sink的,但是使用开发过程中遇到各种坑,各种莫名其妙的错误,最终放弃。
1、flume.conf
logger.sources = r1
logger.sinks = k1
logger.channels = c1
# Describe/configure the source
log
原创
2022-04-26 10:40:17 ·
2332 阅读 ·
0 评论