Apache Doris版本升级攻略：平滑过渡到最新版-优快云博客

Apache Doris版本升级攻略：平滑过渡到最新版

【免费下载链接】doris Apache Doris is an easy-to-use, high performance and unified analytics database. 项目地址: https://gitcode.com/gh_mirrors/dori/doris

你是否还在为数据仓库升级时的服务中断而烦恼？是否担心新版本兼容性问题导致业务故障？本文将带你通过6个步骤，安全、高效地完成Apache Doris（阿帕奇多丽丝）的版本升级，从准备到验证全程无忧，让你轻松体验新版本带来的100%查询性能提升和4-6倍数据湖分析加速。

读完本文你将掌握：

升级前的环境检查与风险评估方法
两种升级方案（滚动升级/停机升级）的操作流程
配置文件迁移的自动化与手动调整技巧
关键指标监控与回滚预案实施
新版本功能验证的核心测试点

一、升级准备：环境检查与风险评估

在开始升级前，必须对当前环境进行全面检查，这是确保升级成功的基础。Apache Doris作为基于MPP（大规模并行处理）架构的分析型数据库，其升级涉及Frontend（FE，前端节点）和Backend（BE，后端节点）两个核心组件，如项目架构图所示。

1.1 系统环境兼容性检查

首先确认操作系统、Java环境和依赖库是否满足新版本要求：

# 检查Java版本（推荐JDK 17）
java -version

# 检查操作系统内核版本（推荐CentOS 7.6+或Ubuntu 20.04+）
uname -r

# 检查依赖库
ldd --version

Apache Doris 2.1.x版本开始对JDK 17提供全面支持，配置文件中已内置针对不同JDK版本的优化参数。如fe.conf中为JDK 17设置的JVM参数：

JAVA_OPTS_FOR_JDK_17="-Xmx8192m -Xms8192m -XX:+HeapDumpOnOutOfMemoryError ..."

1.2 集群状态健康检查

通过MySQL客户端连接FE，执行以下SQL检查集群状态：

-- 检查FE节点状态（所有节点应为Alive）
SHOW PROC '/frontends'\G

-- 检查BE节点状态（所有节点应为Alive且LastHeartbeat在10秒内）
SHOW PROC '/backends'\G

-- 检查数据副本完整性
ADMIN SHOW REPLICA DISTRIBUTION;

-- 检查正在执行的任务（确保升级前无长时运行任务）
SHOW PROC '/tasks';

健康的集群应满足：所有FE/BE节点Alive、数据副本完整（无Missing副本）、无失败任务。

1.3 数据备份策略

虽然升级过程不会直接修改用户数据，但建议对关键元数据和核心表进行备份：

# 备份FE元数据（默认存储路径）
cp -r ${DORIS_HOME}/doris-meta ${DORIS_HOME}/doris-meta-backup-$(date +%Y%m%d)

# 对核心业务表执行备份（使用快照功能）
CREATE SNAPSHOT FOR DATABASE business_db TO "hdfs://backup/snapshot/20250101";

二、升级方案选择：滚动升级vs停机升级

Apache Doris提供两种升级方案，可根据业务连续性要求选择：

2.1 滚动升级（推荐生产环境）

适用于对服务可用性要求高的场景，通过逐个升级节点实现无感知切换。升级顺序严格遵循"先FE后BE"原则，整个过程中集群保持可用状态。

适用场景：

生产环境核心业务
7x24小时服务
单集群节点数≥3

2.2 停机升级（推荐测试环境）

适用于非核心业务或维护窗口期，整个集群短暂停机后统一升级。操作简单但有服务中断，适合快速验证新版本功能。

适用场景：

开发/测试环境
业务低峰期维护
小集群（节点数<3）

三、滚动升级实施步骤

3.1 升级FE集群

FE节点包含Leader、Follower和Observer三种角色，升级时需严格遵循"先Observer→再Follower→最后Leader"的顺序，避免Leader切换导致元数据不一致。

3.1.1 升级Observer节点

停止目标Observer节点：

cd ${DORIS_HOME}/fe/bin
./stop_fe.sh

替换新版本文件：

# 备份旧版本目录
mv ${DORIS_HOME}/fe ${DORIS_HOME}/fe_old

# 解压新版本FE包
tar -zxvf apache-doris-2.1.4-fe-bin.tar.gz
mv apache-doris-2.1.4-fe-bin ${DORIS_HOME}/fe

# 恢复配置文件和元数据
cp ${DORIS_HOME}/fe_old/conf/fe.conf ${DORIS_HOME}/fe/conf/
cp -r ${DORIS_HOME}/fe_old/doris-meta ${DORIS_HOME}/fe/

启动新版本Observer：

cd ${DORIS_HOME}/fe/bin
./start_fe.sh --daemon

验证节点状态：

SHOW PROC '/frontends'\G

确认升级后的Observer节点状态为Alive，且Version显示为新版本。

3.1.2 升级Follower节点

重复3.1.1的步骤升级所有Follower节点，每升级一个节点后需等待2分钟，确保元数据同步完成。

3.1.3 升级Leader节点

Leader节点升级需要先进行角色切换，避免服务中断：

-- 查看当前Leader节点
SHOW PROC '/frontends'\G

-- 将Leader切换为任意Follower（假设目标节点IP为192.168.1.102）
ALTER SYSTEM ACTIVATE FOLLOWER "192.168.1.102:9010";

-- 确认新Leader已生效（等待约30秒）
SHOW PROC '/frontends'\G

然后按照3.1.1的步骤升级原Leader节点（此时已变为Follower）。

3.2 升级BE集群

BE节点升级同样采用逐个升级策略，确保数据分片始终保持足够副本可用。

停止目标BE节点：

cd ${DORIS_HOME}/be/bin
./stop_be.sh

替换新版本文件：

# 备份旧版本目录
mv ${DORIS_HOME}/be ${DORIS_HOME}/be_old

# 解压新版本BE包
tar -zxvf apache-doris-2.1.4-be-bin.tar.gz
mv apache-doris-2.1.4-be-bin ${DORIS_HOME}/be

# 恢复配置文件和数据目录
cp ${DORIS_HOME}/be_old/conf/be.conf ${DORIS_HOME}/be/conf/
# 注意：数据目录（storage_root_path）通常在单独磁盘，无需复制

启动新版本BE：

cd ${DORIS_HOME}/be/bin
./start_be.sh --daemon

检查节点状态和数据恢复：

-- 查看BE状态（等待Alive状态，约1-3分钟）
SHOW PROC '/backends'\G

-- 检查数据副本修复进度
ADMIN SHOW REPLICA STATUS WHERE BackendId = <升级节点ID>;

四、配置文件迁移与优化

新版本可能引入新的配置参数或废弃旧参数，需要对fe.conf和be.conf进行迁移和优化。

4.1 配置文件差异对比

使用diff命令对比新旧配置文件差异：

diff ${DORIS_HOME}/fe_old/conf/fe.conf ${DORIS_HOME}/fe/conf/fe.conf > fe_conf_diff.txt
diff ${DORIS_HOME}/be_old/conf/be.conf ${DORIS_HOME}/be/conf/be.conf > be_conf_diff.txt

重点关注以下变化：

新增参数：如2.1.x版本新增的arrow_flight_sql_port（Arrow Flight SQL服务端口）
废弃参数：如sys_log_roll_mode已被log_roll_size_mb替代
默认值变更：如JVM内存配置从-Xmx4g提升到-Xmx8g

4.2 关键配置优化建议

根据新版本特性，建议调整以下关键配置以获得最佳性能：

FE配置优化（fe.conf）：

# 启用异步物化视图（2.1.x新特性）
enable_async_materialized_view = true

# 优化大查询内存使用
max_bytes_per_broker_scanner = 2147483648

# 提升元数据操作并发度
meta_operation_thread_pool_size = 16

BE配置优化（be.conf）：

# 启用Jemalloc内存分配器（优化内存碎片）
JEMALLOC_CONF="percpu_arena:percpu,background_thread:true,metadata_thp:auto..."

# 调整BloomFilter索引内存限制
bloom_filter_memory_limit_percent = 20

# 启用Arrow Flight SQL服务（默认关闭，设置为非负端口启用）
arrow_flight_sql_port = 9070

五、升级后验证：功能与性能测试

升级完成后需进行全面验证，确保集群功能正常且性能达标。

5.1 集群基础功能验证

执行以下命令和SQL检查核心功能：

# 检查FE/BE进程状态
ps -ef | grep doris-fe
ps -ef | grep doris-be

# 检查端口监听情况
netstat -tunlp | grep -E '9030|8030|9060|8040'

-- 创建测试表
CREATE TABLE test_upgrade (
    id INT,
    name STRING,
    create_time DATETIME
) ENGINE=OLAP
DUPLICATE KEY(id)
DISTRIBUTED BY HASH(id) BUCKETS 10
PROPERTIES (
    "replication_num" = "3"
);

-- 插入测试数据
INSERT INTO test_upgrade VALUES (1, 'test', NOW());

-- 查询测试数据
SELECT * FROM test_upgrade;

-- 创建物化视图（验证新功能）
CREATE MATERIALIZED VIEW test_mv 
AS SELECT id, COUNT(*) cnt FROM test_upgrade GROUP BY id;

5.2 性能对比测试

使用TPC-DS基准测试对比升级前后性能，重点关注：

查询延迟：执行标准SQL查询，如：

SELECT 
    d_year, s_city, p_brand,
    SUM(lo_revenue - lo_supplycost) AS profit
FROM date_dim, store, product, lineorder
WHERE lo_custkey = c_custkey
    AND lo_suppkey = s_suppkey
    AND lo_partkey = p_partkey
    AND lo_datekey = d_datekey
GROUP BY d_year, s_city, p_brand
ORDER BY d_year, s_city, p_brand
LIMIT 100;

数据加载速度：使用Stream Load导入测试数据：

curl -X PUT -H "label:test_load_2025" \
    -H "column_separator:," \
    -T test_data.csv \
    http://fe_host:8030/api/test_db/test_upgrade/_stream_load

资源使用率：通过webserver_port（默认8040）访问BE监控页面，查看CPU、内存、IO使用率变化。

六、回滚预案：风险控制与故障恢复

即使做了充分准备，升级过程中仍可能遇到意外情况。建立完善的回滚机制可将风险降至最低。

6.1 回滚触发条件

当出现以下情况时，应立即执行回滚：

升级后集群节点无法启动或持续异常重启
数据查询结果异常（与升级前不一致）
性能指标显著下降（如查询延迟增加50%以上）
核心业务功能无法使用（如数据导入失败）

6.2 回滚操作步骤

停止新版本服务：

# 停止所有FE节点
for host in fe1 fe2 fe3; do
    ssh $host "${DORIS_HOME}/fe/bin/stop_fe.sh"
done

# 停止所有BE节点
for host in be1 be2 be3; do
    ssh $host "${DORIS_HOME}/be/bin/stop_be.sh"
done

恢复旧版本文件：

# 恢复FE
mv ${DORIS_HOME}/fe ${DORIS_HOME}/fe_new
mv ${DORIS_HOME}/fe_old ${DORIS_HOME}/fe

# 恢复BE
mv ${DORIS_HOME}/be ${DORIS_HOME}/be_new
mv ${DORIS_HOME}/be_old ${DORIS_HOME}/be

启动旧版本集群：

# 先启动FE集群
${DORIS_HOME}/fe/bin/start_fe.sh --daemon

# 待FE稳定后启动BE集群
${DORIS_HOME}/be/bin/start_be.sh --daemon

数据一致性检查：

-- 确认数据完整性
ADMIN CHECK TABLE test_db.test_upgrade;

-- 验证元数据版本回退成功
SHOW PROC '/metadata_version';

七、新版本功能尝鲜：异步物化视图与Variant类型

Apache Doris 2.1.x版本带来多项重大特性，以下是两个核心功能的快速上手指南：

7.1 异步物化视图加速查询

异步物化视图可预计算并存储复杂查询结果，支持定时刷新，大幅提升查询性能：

-- 创建异步物化视图（指定刷新周期为1小时）
CREATE MATERIALIZED VIEW sales_mv
BUILD DEFERRED REFRESH EVERY 1 HOUR
AS SELECT 
    region, 
    DATE_TRUNC('day', sale_time) AS sale_date,
    SUM(amount) AS total_sales
FROM sales_fact
GROUP BY region, DATE_TRUNC('day', sale_time);

-- 手动触发刷新
REFRESH MATERIALIZED VIEW sales_mv;

-- 查询物化视图（自动路由）
SELECT * FROM sales_mv WHERE region = '华东' AND sale_date >= '2025-01-01';

7.2 Variant类型处理半结构化数据

新增的Variant类型完美支持JSON/Array等半结构化数据，无需预定义 schema：

-- 创建含Variant类型的表
CREATE TABLE user_behavior (
    user_id INT,
    behavior Variant,
    event_time DATETIME
) ENGINE=OLAP
DUPLICATE KEY(user_id)
DISTRIBUTED BY HASH(user_id) BUCKETS 10;

-- 插入JSON数据
INSERT INTO user_behavior VALUES (
    1001,
    '{"action":"click","page":"home","duration":30,"tags":["new","promotion"]}',
    NOW()
);

-- 查询半结构化数据
SELECT 
    user_id,
    behavior['action'] AS action,
    behavior['tags'][1] AS second_tag
FROM user_behavior;

八、总结与最佳实践

Apache Doris的版本升级是一个系统性工程，需要严格遵循"准备→执行→验证→优化"的流程。总结以下最佳实践：

环境准备：升级前务必检查Java版本、集群状态和数据完整性
方案选择：生产环境优先选择滚动升级，确保业务连续性
配置迁移：仔细对比配置文件差异，重点关注新增和废弃参数
监控验证：升级后至少观察24小时，监控性能指标和业务功能
渐进式升级：大型集群建议先升级测试环境，验证通过后再推广到生产

通过本文介绍的方法，你可以安全、高效地完成Apache Doris的版本升级，充分利用新版本带来的性能提升和功能增强。如需进一步了解升级细节，可参考官方文档Release Notes和升级指南。

最后，建议加入Apache Doris社区邮件列表，及时获取最新版本信息和技术支持，与 thousands of companies worldwide 的用户共同交流升级经验。

【免费下载链接】doris Apache Doris is an easy-to-use, high performance and unified analytics database. 项目地址: https://gitcode.com/gh_mirrors/dori/doris

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考