尝试flume配置文件从启动命令接收参数

最新推荐文章于 2022-03-27 10:59:57 发布

z骑士

最新推荐文章于 2022-03-27 10:59:57 发布

阅读量1.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： hbase flume

本文链接：https://blog.youkuaiyun.com/s243471087/article/details/83900388

本文介绍了尝试通过Flume配置文件动态接收HBase表名作为参数的方法，包括从命令行传参和使用正则拦截器（regex_extractor），并详细描述了遇到的问题和错误，如无法通过命令行参数传递以及报错信息，最后指出当前实现方式的局限性，即无法在不重启Flume的情况下动态切换HBase表。

接着上一篇flume接收数据传入hbase。
这次的目的是：
flume配置文件sink指定hbase的表名可以当成参数进行接收，以便于能随外部切换hbase不同的表。
例如在test.conf中

a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = http
a1.sources.r1.port = 44444
a1.sources.r1.bind = 10.0.0.183

# Describe the sink
a1.sinks.k1.type = hbase
a1.sinks.k1.channel = c1
#a1.sinks.k1.table = httpdata
a1.sinks.k1.table = ${htable}   #传入表名
a1.sinks.k1.columnFamily = a
a1.sinks.k1.serializer = com.hbase.Rowkey
a1.sinks.k1.channel = memoryChannel

# Use a channel which buffers events in memory
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /home/mathartsys/oyzm_test/flu-hbase/checkpoint/
a1.channels.c1.useDualCheckpoints = false
a1.channels.c1.dataDirs = /home/mathartsys/oyzm_test/flu-hbase/flumedir/
a1.channels.c1.maxFileSize = 2146435071
a1.channels.c1.capacity = 100000
a1.channels.c1.transactionCapacity = 10000

# Bind the source and sink to the channel
a1.sources.r1.channels = c1 
a