StarRocks严格模式(Strict Mode)详解：数据加载的质量控制机制-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00117/article/details/148416613

StarRocks严格模式(Strict Mode)详解：数据加载的质量控制机制

starrocks StarRocks是一个开源的分布式数据分析引擎，用于处理大规模数据查询和分析。 - 功能：分布式数据分析；大规模数据查询；数据分析；数据仓库。 - 特点：高性能；可扩展；易于使用；支持多种数据源。项目地址: https://gitcode.com/gh_mirrors/st/starrocks

什么是严格模式？

在StarRocks数据库系统中，严格模式(Strict Mode)是一个重要的数据加载质量控制特性。它决定了系统在数据导入过程中如何处理不符合目标表结构要求的数据行。

严格模式的工作原理

当数据从外部源加载到StarRocks表时，源数据的列类型可能与目标表的列类型不完全匹配。这时系统会尝试进行数据类型转换，但转换可能因以下原因失败：

数据类型不兼容（如将字符串"abc"转换为整数）
数据值超出目标类型范围（如将大整数2000存入TINYINT类型）
数据格式不符合要求

严格模式控制着系统对这些"不合格行"的处理方式：

严格模式开启：系统仅加载完全符合要求的行，过滤掉所有不合格行，并返回详细错误信息
严格模式关闭：系统尝试将不合格值转换为NULL值，并将这些行与合格行一起加载

严格模式的实际应用场景

示例分析

假设我们要将包含以下值的CSV文件加载到TINYINT类型的列中（TINYINT范围为-128到127）：

\N（表示NULL）
abc（字符串）
2000（超出范围）
1（有效值）

严格模式关闭时的行为

| 源数据 | 转换结果 | 目标列允许NULL时的加载结果 | 目标列不允许NULL时的加载结果 | |--------|----------|----------------------------|------------------------------| | \N | NULL | 加载为NULL | 报错 | | abc | NULL | 加载为NULL | 报错 | | 2000 | NULL | 加载为NULL | 报错 | | 1 | 1 | 加载为1 | 加载为1 |

严格模式开启时的行为

| 源数据 | 转换结果 | 目标列允许NULL时的加载结果 | 目标列不允许NULL时的加载结果 | |--------|----------|----------------------------|------------------------------| | \N | NULL | 加载为NULL | 报错 | | abc | NULL | 过滤掉该行 | 报错 | | 2000 | NULL | 过滤掉该行 | 报错 | | 1 | 1 | 加载为1 | 加载为1 |

如何配置严格模式

StarRocks提供了多种方式来配置严格模式：

1. 通过LOAD语句参数设置

对于各种数据加载方式，可以在PROPERTIES子句中设置strict_mode参数：

PROPERTIES
(
    "strict_mode" = "true"  -- 或"false"
)

2. 通过会话变量设置

可以使用enable_insert_strict会话变量控制严格模式：

SET enable_insert_strict = true;  -- 或false

3. 不同加载方式的具体配置

Stream Load示例

curl --location-trusted -u username:password \
    -H "strict_mode: true" \
    -T data.csv -XPUT \
    http://fe_host:fe_http_port/api/db_name/table_name/_stream_load

Broker Load示例

LOAD LABEL db_name.label_name
(
    DATA INFILE ("hdfs_path")
    INTO TABLE table_name
)
WITH BROKER
(
    "username" = "hdfs_user",
    "password" = "hdfs_pwd"
)
PROPERTIES
(
    "strict_mode" = "true"
)

Routine Load示例

CREATE ROUTINE LOAD db_name.job_name ON table_name
PROPERTIES
(
    "strict_mode" = "true"
) 
FROM KAFKA
(
    "kafka_broker_list" ="broker1:port,broker2:port",
    "kafka_topic" = "topic_name"
)

INSERT语句示例

INSERT INTO db_name.table_name
PROPERTIES(
    "strict_mode" = "true"
)
SELECT * FROM source_table;

严格模式的最佳实践

数据质量要求高：当业务对数据质量要求严格时，建议开启严格模式，确保只有完全符合规范的数据被加载
数据探索阶段：在数据探索或ETL开发阶段，可以暂时关闭严格模式，便于快速查看数据问题
与max_filter_ratio配合使用：可以设置max_filter_ratio参数控制允许过滤的最大行比例，避免因少量数据问题导致整个作业失败
版本注意事项：不同StarRocks版本对严格模式的处理可能略有不同，特别是v3.4.0前后的INSERT行为变化