【starrocks学习】之将starrocks表同步到hive

目录

方法 1：通过HDFS导出数据

1. 将StarRocks表数据导出到HDFS

2. 在Hive中创建外部表

3. 验证数据

方法 2：使用Apache Spark同步

1. 添加StarRocks和Hive的依赖

2. 使用Spark读取StarRocks数据并写入Hive

3. 验证数据

方法 3：通过文件导出和导入

1. 导出StarRocks数据到本地文件

2. 将文件上传到HDFS

3. 在Hive中加载数据

4. 验证数据

---

方法 1：通过HDFS导出数据

1. 将StarRocks表数据导出到HDFS

使用StarRocks的EXPORT语句将数据导出到HDFS。

EXPORT TABLE starrocks_table
TO "hdfs://path/to/export"
WITH BROKER "broker_name"
(
    "username"="hdfs_user",
    "password"="hdfs_password"
)
PROPERTIES
(
    "format" = "parquet",  -- 导出格式，支持Parquet、ORC等
    "column_separator" = ","
);

2. 在Hive中创建外部表

在Hive中创建一个外部表，指向HDFS上的数据。

CREATE EXTERNAL TABLE hive_table (
    column1 INT,
    column2 STRING,
    ...
)
STORED AS PARQUET  -- 与导出格式一致
LOCATION 'hdfs://path/to/export';

3. 验证数据

查询Hive表，确认数据已同步。

方法 2：使用Apache Spark同步

如果StarRocks和Hive都支持Spark访问，可以通过Spark读取StarRocks数据并写入Hive。

1. 添加StarRocks和Hive的依赖

在Spark项目中添加StarRocks和Hive的依赖。

<!-- StarRocks Spark Connector -->
<dependency>
    <groupId>com.starrocks</groupId>
    <artifactId>spark-connector</artifactId>
    <version>1.0.0</version>
</dependency>

<!-- Hive Support -->
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-hive_2.12</artifactId>
    <version>3.1.2</version>
</dependency>

2. 使用Spark读取StarRocks数据并写入Hive

编写Spark作业，从StarRocks读取数据并写入Hive。

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
    .appName("StarRocks to Hive Sync")
    .enableHiveSupport()
    .getOrCreate()

// 读取StarRocks表
val starrocksDF = spark.read
    .format("starrocks")
    .option("starrocks.table.identifier", "database.starrocks_table")
    .option("starrocks.fenodes", "fe_host:fe_http_port")
    .option("user", "starrocks_user")
    .option("password", "starrocks_password")
    .load()

// 写入Hive表
starrocksDF.write
    .mode("overwrite")  // 覆盖模式
    .saveAsTable("hive_database.hive_table")

3. 验证数据

查询Hive表，确认数据已同步。

SELECT * FROM hive_table LIMIT 10;
SELECT count(*) FROM hive_table;

方法 3：通过文件导出和导入

如果数据量较小，可以先将StarRocks表数据导出为本地文件，再通过Hive的LOAD DATA命令导入。

1. 导出StarRocks数据到本地文件

使用StarRocks的SELECT INTO OUTFILE命令导出数据。

SELECT * 
INTO OUTFILE "file:///path/to/local/file"
FORMAT AS CSV
FROM starrocks_table;

2. 将文件上传到HDFS

将导出的文件上传到HDFS。

hdfs dfs -put /path/to/local/file /path/to/hdfs/file

3. 在Hive中加载数据

在Hive中创建表并加载数据。

CREATE TABLE hive_table (
    column1 INT,
    column2 STRING,
    ...
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

LOAD DATA INPATH 'hdfs://path/to/hdfs/file' INTO TABLE hive_table;

4. 验证数据

查询Hive表，确认数据已同步。

SELECT * FROM hive_table LIMIT 10;
SELECT count(*) FROM hive_table;

ps：操作1、2也可替换成直接上传到hdfs

INSERT INTO 
FILES(
    'path' = '/path/to/hdfs/file',
    'format' = 'parquet',
    'compression' = 'lz4',
    'single' = 'true'
)
SELECT * FROM starrocks_table;