StarRocks 存算分离成本优化最佳实践

序言

StarRocks 存算分离借助对象存储来实现计算和存储能力分离，而存算分离版本 StarRocks 一般来说有以下三方面成本：

1. 计算成本，也即机器使用成本，尤其是运行在公有云上时

2. 存储成本，该部分与对象存储上存储的数据量相关

3. API 访问成本，这部分与访问对象存储各种 API 的频率相关

优化数据导入模式

在存算分离中，我们推荐积攒更大批量的数据，使用低频大批量写入来代替高频微批写入，从而可以达到降低对象存储如 S3 的写入次数目的。同时，降低写入频次还可以降低后台数据版本 Compaction 的频率，进一步降低对象存储的写入次数，从而降低成本。

除此之外，对于某些导入模型，例如 Routine Load，我们还可以降低 Job 的并发 Task 数量来降低对象存储的写入频率，我们可以观察 BE 日志中每个 Task 的单次 KafKa 消费数据量，如果发现量较小，那我们就可以降低 并发 Task 数量来降低对象存储写入次数。

例如，下面的例子就展示了一个真实用户案例，该用户存在大量 Routine Load Job，优化之前每个 Job 的并发度为 3，导致每小时可产生约 15-20w 次 S3 PUT Object 调用请求。我们分析了它的 Job，发现每个 Task 单次只能从 Kafka 消费 数百行数据，于是我们果断调整了任务的并发数，从 3 降低为 1，通过监控我们也发现，每个 BE 节点上的 IOPS 有了明显的下降，如下图所示（约从 15:00 完成调整）ÿ