StarRocks数据导出指南：使用INSERT INTO FILES实现高效数据卸载-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00414/article/details/148416595

StarRocks数据导出指南：使用INSERT INTO FILES实现高效数据卸载

starrocks StarRocks是一个开源的分布式数据分析引擎，用于处理大规模数据查询和分析。 - 功能：分布式数据分析；大规模数据查询；数据分析；数据仓库。 - 特点：高性能；可扩展；易于使用；支持多种数据源。项目地址: https://gitcode.com/gh_mirrors/st/starrocks

概述

在数据分析工作中，我们经常需要将StarRocks数据库中的数据导出到外部存储系统。StarRocks从3.2版本开始提供了一种高效的数据导出方式——INSERT INTO FILES语句。本文将详细介绍如何使用这一功能，帮助数据分析师和开发人员掌握数据导出的最佳实践。

准备工作

在开始导出数据前，我们需要准备以下内容：

创建示例数据库和表（如已有数据可跳过此步）：

CREATE DATABASE unload;
USE unload;
CREATE TABLE sales_records(
    record_id     BIGINT,
    seller        STRING,
    store_id      INT,
    sales_time    DATETIME,
    sales_amt     DOUBLE
)
DUPLICATE KEY(record_id)
PARTITION BY date_trunc('day', sales_time)
DISTRIBUTED BY HASH(record_id);

-- 插入示例数据
INSERT INTO sales_records VALUES
    (220313001,"Amy",1,"2022-03-13 12:00:00",8573.25),
    (220314002,"Bob",2,"2022-03-14 12:00:00",6948.99),
    (220314003,"Amy",1,"2022-03-14 12:00:00",4319.01),
    (220315004,"Carl",3,"2022-03-15 12:00:00",8734.26),
    (220316005,"Carl",3,"2022-03-16 12:00:00",4212.69),
    (220317006,"Bob",2,"2022-03-17 12:00:00",9515.88);

确保拥有目标存储系统的写入权限，包括：
- HDFS集群（支持简单认证）
- AWS S3存储桶（使用IAM用户凭证）

数据导出基础操作

导出为多个文件

默认情况下，INSERT INTO FILES会将数据分割成多个文件导出，每个文件大小约为1GB。我们可以通过target_max_file_size参数调整文件大小。

示例：导出到S3存储

INSERT INTO 
FILES(
    "path" = "s3://mybucket/unload/data1",
    "format" = "parquet",
    "compression" = "uncompressed",
    "target_max_file_size" = "1048576", -- 1MB
    "aws.s3.access_key" = "your_access_key",
    "aws.s3.secret_key" = "your_secret_key",
    "aws.s3.region" = "us-west-2"
)
SELECT * FROM sales_records;

示例：导出到HDFS

INSERT INTO 
FILES(
    "path" = "hdfs://namenode:9000/unload/data1",
    "format" = "parquet",
    "compression" = "uncompressed",
    "target_max_file_size" = "1048576", -- 1MB
    "hadoop.security.authentication" = "simple",
    "username" = "hdfs_user",
    "password" = "hdfs_password"
)
SELECT * FROM sales_records;

最佳实践建议：在生产环境中，建议将target_max_file_size设置为几百MB到几GB之间，以获得最佳性能。

按列分区导出

我们可以利用partition_by参数，按照指定列的值将数据分区存储到不同目录中。

示例：按销售时间分区导出

-- 导出到S3
INSERT INTO 
FILES(
    "path" = "s3://mybucket/unload/partitioned/",
    "format" = "parquet",
    "compression" = "lz4",
    "partition_by" = "sales_time",
    "aws.s3.access_key" = "your_access_key",
    "aws.s3.secret_key" = "your_secret_key",
    "aws.s3.region" = "us-west-2"
)
SELECT * FROM sales_records;

这种分区导出方式特别适合后续需要按时间范围分析数据的场景。

导出为单个文件

如果需要将数据导出为单个文件，可以设置single参数为true。

示例：导出单个Parquet文件

-- 导出到HDFS
INSERT INTO 
FILES(
    "path" = "hdfs://namenode:9000/unload/single_file",
    "format" = "parquet",
    "compression" = "lz4",
    "single" = "true",
    "hadoop.security.authentication" = "simple",
    "username" = "hdfs_user",
    "password" = "hdfs_password"
)
SELECT * FROM sales_records;

高级应用场景

导出到MinIO存储

MinIO作为兼容S3协议的对象存储，其导出参数与标准S3略有不同：

INSERT INTO 
FILES(
    "path" = "s3://minio-bucket/unload/data",
    "format" = "parquet",
    "compression" = "zstd",
    "single" = "true",
    "aws.s3.access_key" = "minio_access_key",
    "aws.s3.secret_key" = "minio_secret_key",
    "aws.s3.region" = "us-west-2",
    "aws.s3.use_instance_profile" = "false",
    "aws.s3.enable_ssl" = "false",
    "aws.s3.enable_path_style_access" = "true",
    "aws.s3.endpoint" = "http://minio-server:9000"
)
SELECT * FROM sales_records;

通过NFS导出到本地文件系统

虽然StarRocks不直接支持导出到本地文件系统，但可以通过NFS挂载实现：

-- 导出为CSV格式
INSERT INTO FILES(
  'path' = 'file:///nfs_mount/csv_export/', 
  'format' = 'csv', 
  'csv.column_separator' = ',', 
  'csv.row_delimitor' = '\n'
)
SELECT * FROM sales_records;

-- 导出为Parquet格式
INSERT INTO FILES(
  'path' = 'file:///nfs_mount/parquet_export/',
   'format' = 'parquet'
)
SELECT * FROM sales_records;

性能优化建议

压缩算法选择：根据数据特性选择合适的压缩算法
- uncompressed：不压缩，导出速度最快
- lz4：平衡压缩率和速度
- zstd：高压缩率，适合网络带宽有限的场景
文件大小配置：根据后续使用场景设置合理的文件大小
- 频繁查询少量数据：较小的文件（几十MB）
- 大批量分析：较大的文件（几GB）
分区策略：合理使用partition_by可以显著提高后续查询效率