由于数据存储在Hbase上,并且上层使用了Phoenix来读写数据。并且由于数据的列字段不固定,并且可能由于Hbase表列和Phoenix的表列字段不一致,使用Phoenix写入的数据会导致写出报错的问题出现。所以这里直接使用HbaseClient写入到Hbase表中,再使用Phoenix查询就能查询到数据。
CREATE TABLE IF NOT EXISTS MIS_TEST.TEST_INSERTINTO2 (
"rowkey" VARCHAR PRIMARY KEY,
"info"."ID" VARCHAR,
"info"."NAME" VARCHAR,
"info"."DATA_DATE" VARCHAR
) COLUMN_ENCODED_BYTES=0;
建表语句如上,其中 COLUMN_ENCODED_BYTES = 0 是表示禁用Phoenix表的列映射,并且不加的话,会导致Phoenix写入的和HbaseClient写入的,字段的编码不一致,导致Phoenix读取的时候读取不到数据。
参考文章:
Storage Formats | Apache Phoenix
Phoenix 关联映射 Hbase表 获取不到数据,upsert hbase 列名为16进制字符_wx5ae1cd41f3d21的技术博客_51CTO博客
Hbase与Phoenix数据交互问题:避免写入错误和编码不一致
本文讲述了在Hbase和Phoenix数据架构中,由于列字段不固定和表列映射可能导致写入错误。为解决这个问题,作者建议直接使用HbaseClient写入并禁用Phoenix的列编码,确保数据一致性。
1358

被折叠的 条评论
为什么被折叠?



