hbase打HFileOutputFormat补丁

最新推荐文章于 2025-08-11 23:02:55 发布
最新推荐文章于 2025-08-11 23:02:55 发布
阅读量2.5k 收藏 2
点赞数
CC 4.0 BY-SA版权
文章标签： hbase hadoop patch jar ant
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/kirayuan/article/details/6585859
本文介绍了如何通过应用补丁来修复Hadoop和HBase，使其能够支持多列族数据的批量加载功能。包括在Hadoop和HBase根目录下安装并应用补丁，以及编译和替换jar包的详细步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

由于要使用hbase的bulk load功能入库数据，而原始的HFileOutputFormat不支持多列族数据生成，在网上找到一个patch能够支持这个功能，为了给hbase打上这个补丁，网上查找了一下，方法如下：

hadoop打补丁的方式：

1. 在hadoop根目录下安装patch

	patch -p0 < Hadoop-0.20.2-v1382.patch

2.如果需要回滚patch，恢复到以前的版本，可执行

	patch -RE -p0 < Hadoop-0.20.2-v1382.patch

3.在hadoop根目录下执行ant开始编译：

	ant
编译好之后用新的jar包代替原有的hadoop jar包即可
 
hbase打补丁方式
1.在hbase根目录下安装patch
patch -i 0001-HBASE-1861-Multi-Family-support-for-bulk-upload-tool.patch
 
2.编译hbase
 
3.使用新jar包
 
 
　
bluekeyv
关注
通过Hive自带的jar包生成Hbase的Hfile
林 的博客
06-29 2814
1. hive建表set hive.execution.engine=mr; set hfile.compression=gz; add jar hive-hbase-handler-version.jar; create table my_hbase_table(key string, cf_0_c0 string, cf_0_c1 string, ...) stored as INPUTF...
使用HFileOutputFormat2进行HBase bulk load时的常见错误
freeRoad
12-31 7280
最近在用HFileOutputFormat2进行HBase bulk load数据时出现了以下错误，记录下供有相同错误的童鞋们查阅。 异常1：java.io.IOException: Mkdirs failed to create /user/adorechen/hbase-staging Exception in thread "main" java.io.IOExceptio...
HBase 之HFileOutputFormat
weixin_34107955的博客
08-29 447
hadoop mr 输出需要导入hbase的话最好先输出成HFile格式， 再导入到HBase,因为HFile是HBase的内部存储格式， 所以导入效率很高,下面是一个示例 1. 创建HBase表t1 hbase(main):157:0*create't1','f1'0row(s)in1.3280secondshbase(main):158:0&g...
HBase 之TableOutputFormat
weixin_34345560的博客
08-29 409
MapReducer的输出导入到HBase有多种方式可以实现， TableOutputFormat就是其中一种. 1. hbase建表 hbase(main):132:0*create't1','f1'0row(s)in1.4890secondshbase(main):133:0>scan't1'ROW...
MapReduce生成HFile入库到HBase及源码分析
05-17 1389
原文： http://blog.pureisle.net/archives/1950.html 如果我们一次性入库hbase巨量数据，处理速度慢不说，还特别占用Region资源， 一个比较高效便捷的方法就是使用 “Bulk Loading”方法，即hbase提供的HFileOutputFormat类。 它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理，直接生成
HBASE-20616补丁
05-11
适用于hbase1.2.0-cdh5.13.3
MapReduce写HFile，doBulkLoad方式批量导入到HBase（用 HFileOutputFormat2.configureIncrementalLoadMap方式推荐）
ITwangnengjie的博客
11-22 1728
上一章博文分析了HFileOutputFormat2.configureIncrementalLoad的使用方法以及弊端。讲述了configureIncrementalLoad内部源码已经给我们设定了Reduce过程，包括map和reduce的输出格式（KeyValue或者Put）、reduce的数量等。而configureIncrementalLoadMap方法没有，所以在生成j...
python 连接hbase 打印数据
08-17
python 连接hbase 打印数据。hbase 的一些源数据未转化
Scala Spark HFileOutputFormat2.configureIncrementalLoadMap写HFile并doBulkLoad方式导入到HBase
ITwangnengjie的博客
11-27 1360
Spark写HFile不太建议： 1）一般写HFile是因为数据量很大，才使用这种方式，不然一般的API就可以满足； 2）用Spark写大量数据，中途需要去做排序，需要很大的内存与CPU，这种资源的使用是巨大的。 3）因为Executor内存的限制，CPU的限制，每次能写的数据量是有限的，并不能像MR一样可以写2T的数据或者更多。 4）Spark代码还是很费时的，在排序的时候。MR3个月...
HBase写入的各种方式总结汇总（代码）
weixin_33767813的博客
03-13 740
2019独角兽企业重金招聘Python工程师标准>>> ...
hbase 研究 ：LoadIncrementalHFiles/HFileOutputFormat2 cannot be resolved
weixin_30567225的博客
04-02 668
在研究hadoop存入hbase方式中 想要去使用BulkLoad的方式去存入 但发现jar引不进来 起初想是否是hbase版本更迭 某些方法被弃用，结果试了一边，浪费了大把时光，发现原来是hbase-server.jar没有被引入((┬＿┬)) 转载于:https://www.cnblogs.com/njh2017/p/8696772.html...
MapReduce生成HFile文件,再使用BulkLoad导入HBase中(完全分布式运行)
热门推荐
我和我追逐的梦~~~
05-09 2万+
声明: 若要转载, 请标明出处. 前提: 在对于大量的数据导入到HBase中, 如果一条一条进行插入, 则太耗时了, 所以可以先采用MapReduce生成HFile文件, 然后使用BulkLoad导入HBase中.  引用: 一、这种方式有很多的优点： 1. 如果我们一次性入库hbase巨量数据，处理速度慢不说，还特别占用Region资源， 一个比较高效便捷的方法就是使用 “Bulk
记一次 mapreduce 加载HFile文件到HBase中
枪枪枪的博客
06-30 1042
code: 编译打包后放到服务器上用java -classpath XXX.jar XXX.BulkLoadDataToHBase /path outPutTabel运行程序前需要先在HBase中建好表 此时运行会出现报错 错误原因是程序运行时无法找到libsnappy.so.*相关的文件，检查了一遍程序中打包的依赖,发现可以找到对应的类 在google上搜索了后发现，有人建议在运行jar时添加-Djava.library.path=/XXX/hadoop/native/选项后，解决了问题。于是在服务器上
HBase-HFile的读写操作
hixiaoxiaoniao的专栏
06-12 2601
写入数据: public class TestWrit {      private static Configuration cfg = new Configuration();      private static final int BLOCK_INDEX_SIZE = 60;      private static final int BLOOM_BLOCK_INDEX_SIZE = 1...
java hbase put hfile_数据导入HBase最惯用的三种方式及实践分析(3)
weixin_35046143的博客
03-03 578
数据导入HBase最常用的三种方式及实践分析(3)HBase数据迁移(3)-自己编写MapReduce Job导入数据 :尽管在将文本文件加载入HBase时importtsv工具十分高效，但在许多情况下为了完全控制整个加载过程，你可能更想自己编写MapReduce Job向HBase导入数据。例如在你希望加载其他格式文件时不能使用importtsv工具。HBase提供TableOutputForm...
hbase bulk load相关源码简析之HFileOutputFormat、LoadIncrementalHFiles
Rocky
07-10 998
转载请注明出处： http://blog.youkuaiyun.com/lonelytrooper/article/details/17040895 PutSortReducer： [java] view plain copy // 对map阶段传递过来的puts中的KVs做排序，并将有序的KVs写到输出流(最终写的类是HFileWriterV1或HFileWriterV2
基于MongoDB/HBase的知识共享平台的设计与实现
最新发布
Candy5204的博客
08-11 781
标题:基于MongoDB/HBase的知识共享平台的设计与实现内容:1.摘要 在当今信息爆炸的时代，知识的有效共享和管理变得愈发重要。本研究的目的是设计并实现一个基于MongoDB/HBase的知识共享平台，以满足大规模知识数据的存储、高效查询和快速共享需求。方法上，结合MongoDB灵活的文档存储结构和HBase的高可扩展性与分布式存储能力，构建平台的底层数据存储架构。通过前端开发技术搭建用户交互界面，方便用户上传、查询和分享知识。结果显示，该平台在处理大规模知识数据时表现出良好的性能，数据存储容量可根据
使用HFileOutputFormat全量导入HBase海量数据
在处理大规模数据导入时，HBase的compaction机制可能对写入性能产生影响，但通过理解HBase的底层存储机制，可以利用HFileOutputFormat类进行高效的数据迁移。” 在大数据领域，HBase作为一款基于Hadoop的分布式列式...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值