使用spark bulkload加载海量数据到hbase

最新推荐文章于 2023-09-15 15:15:33 发布

chenjian_grt

最新推荐文章于 2023-09-15 15:15:33 发布

阅读量3.7k

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签： spark hbase

本文链接：https://blog.youkuaiyun.com/chenjian_grt/article/details/80190504

本文介绍了在项目中使用Spark解决批量加载海量数据到HBase时遇到的性能问题。通过bulkload方式，解决了批量put带来的速度慢和Region Server频繁GC问题。文章详细总结了生成hfile文件时key排序错误及导入hfile到HBase时超过文件限制的解决方案，包括调整配置参数以适应大规模region的场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近在项目中碰到需要使用spark加载海量数据到hbase的需求，一开始我们使用批量put的方式，这种方式简单，但是带来了一系列的性能问题，一方面速度比较慢，另一方面，由于我们的hbase用来提供oltp服务，导致在加载数据的时候，hbase的region sever频繁GC，严重影响线上交易的响应时间。因此，我们决定使用bulkload的方式来解决这个问题，一路踩坑，终于解决了所有问题，现将遇到的问题总结如下，以备查询。

1、生成hfile文件

生成hfile文件的方法，在网上很多帖子都有讲，这里就不再赘述了，只说说碰到的问题

问题一：

java.io.IOException: Non-increasing Bloom keys: 201301025200000000000003520000000000000500 after 201311195100000000000000010000000000001600

at org.apache.hadoop.hbase.regionserver.StoreFile$Writer.appendGeneralBloomfilter(StoreFile.java:869)

at org.apache.hadoop.hbase.regionserver.StoreFile$Writer.append(StoreFile.java:905)

at org.apache.hadoop.hbase.mapreduce.HFileOutputFormat$1.write(HFileOutputFormat.java:180)

at org.apache.hadoop.hbase.mapreduce.HFileOutputFormat$1.write(HFileOutputFormat.java:136)