flume将多列数据写入HBase的配置

最新推荐文章于 2022-11-11 16:27:07 发布

原创最新推荐文章于 2022-11-11 16:27:07 发布 · 1.8k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#flume

flume 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了如何使用Apache Flume将数据写入HBase的具体配置方法，包括指定HBase表名、列族、列名称及正则表达式等关键配置项。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

只列出sink部分的配置如下：

a1.sinks.k1.type = hbase

#命名空间和表名
a1.sinks.k1.table = ns1:t10

#列族
a1.sinks.k1.columnFamily = f1
a1.sinks.k1.serializer = org.apache.flume.sink.hbase.RegexHbaseEventSerializer
#指定列名称，数据的第一列为ROW_KEY
a1.sinks.k1.serializer.colNames = ROW_KEY,id,msg
#正则表达式
a1.sinks.k1.serializer.regex = (.*),(.*),(.*)
#指定字段的索引作为rowkey
a1.sinks.k1.serializer.rowKeyIndex = 0