Hbase shell批量导出表数据到文件

dyyaries

于 2022-03-02 11:45:26 发布

阅读量2.1k

点赞数

分类专栏： Java编程文章标签： hbase 数据库 database

本文链接：https://blog.youkuaiyun.com/dyyaries/article/details/123226528

版权

Java编程专栏收录该内容

49 篇文章

订阅专栏

该脚本用于使用HBase shell命令扫描特定时间范围内的ODS表，并将结果导出到指定目录。首先定义了需要扫描的表格、输出目录及时间戳范围，然后检查输出目录是否存在，如果不存在则创建。接着遍历每个表，执行HBase scan命令，筛选出指定时间范围内的F_DATA列族数据，并将结果保存为dat文件。最后确认所有扫描操作完成。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#!/bin/bash
tables=`echo "list" | hbase shell | grep ODS_ | grep -v 'test'`
output_dir=~/ods_dump/
#2022-03-01
start_ts=1646064001000
end_ts=1646236800000

#make output dir
if [ ! -d $output_dir ]
then
  echo "create dir: $output_dir"
  mkdir -p $output_dir
fi
#scan hbase tables and export into files
for tb in $tables
do
  echo "scan $tb..."
  echo " scan '$tb', {COLUMNS => 'F_DATA', TIMERANGE => [$start_ts,$end_ts]}" | hbase shell>$output_dir$tb.dat
  echo "scan $tb complete!"
done
echo "all scan complete!"