Spark 从 hbase 中导出表信息到本地csv格式

最新推荐文章于 2021-07-29 18:05:14 发布

原创

最新推荐文章于 2021-07-29 18:05:14 发布 · 1.8k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#Spark

本文介绍如何利用Spark将HBase中的表信息转换并导出到本地CSV格式，通过Spark作业实现数据的高效迁移。

import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableInputFormat;
import org.apache.hadoop.hbase.mapreduce.TableOutputFormat;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import scala.Serializable;
import scala.Tuple2;

import java.io.*;

/**
 * 此代码用spark实现了从hbase表中导出csv格式的文件并保存到指定路径 ，其中涉及到 读取文件夹指定文件内容 并删除文件夹 而后保存文件 操作
 *
 */

public class SparkExToHBase implements Serializable {

    private static int flag;

    public static void main(String[] args) throws IOException {

        SparkConf conf = new SparkConf().setAppName("spark-i").setMaster("local[*]");