flink和hbase整合

damit_wang

于 2017-02-20 15:14:19 发布

阅读量6.7k

点赞数

分类专栏： flink hbase

本文链接：https://blog.youkuaiyun.com/qq_36443225/article/details/56013453

版权

本文介绍了如何将Flink与HBase进行整合，主要探讨批处理模式下的整合方法。在批处理模式下，需要引入特定版本的Flink HBase连接器，并通过HBase API查询数据转换为DataSet。由于序列化问题，直接在DataStream中执行会报错，解决方案是在map函数中手动查询Hbase并解析结果，利用状态管理处理数据增量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

有两种方式

第一种，批处理模式整合,即从hbase查询数据并转为DataSet格式

首先引入flink整合hbase的jar（版本号请根据实际调整）

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-table_2.11</artifactId>
    <version>1.1.4</version>
</dependency>

2 在resource下添加hbase-site.xml文件

<?xml version="1.0"

最低0.47元/天解锁文章