StarRocks 生产部署一套集群，存储空间如何规划？

最新推荐文章于 2025-04-02 19:51:26 发布

京河小蚁

最新推荐文章于 2025-04-02 19:51:26 发布

阅读量743

点赞数 8

分类专栏： starrocks 文章标签： starrocks

本文链接：https://blog.youkuaiyun.com/u010772882/article/details/144668072

版权

背景：StarRocks 3.2，存储一体

使用场景：多分析、小查询多单但不高、数据量几百T

FE 存储

由于 FE 节点仅在其存储中维护 StarRocks 的元数据，因此在大多数场景下，每个 FE 节点只需要 100 GB 的 HDD 存储，生产建议200G SSD以上，FE-FOLLOWER节点也一样的配置。

BE 存储

预估 BE 初始存储空间

StarRocks 集群需要的总存储空间同时受到原始数据大小、数据副本数以及使用的数据压缩算法的压缩比的影响。
你可以通过以下公式估算所有 BE 节点所需的总存储空间：
磁盘大小一样，SSD盘，无需做RAID（多副本情况下）

BE 节点所需的总存储空间 = 原始数据大小 * 数据副本数/数据压缩算法压缩比

原始数据大小 = 单行数据大小 * 总数据行数

在 StarRocks 中，一个表中的数据首先被划分为多个分区（

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

京河小蚁

关注关注

8
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

【StarRocks】starrocks 3.2.12 【share-nothing】多Be集群容器化部署

hiliang521的博客

11-23

1108

【StarRocks】starrocks 3.2.12 【share-nothing】多fe节点集群容器化部署

StarRocks：存算一体模式部署

m0_37559973的博客

12-18

2503

StarRocks 是一款高性能分析型数据仓库，使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks 既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上各种格式的数据。StarRocks 兼容 MySQL 协议，支持标准 SQL，用户可以轻松地通过 MySQL 客户端连接到 StarRocks 实时查询分析数据。同时 StarRocks 具备水平扩展，高可用、高可靠、易运维等特性。

参与评论您还未登录，请先登录后发表或查看评论

浅谈StarRocks 常见问题解析

热门推荐

流木的博客

11-23

1万+

681. 【数据库评测】Cloudwave 4.0 集群版(4节点) VS Starrocks 3.0 集群版(4节点)

七镜的博客

05-26

233

4台64核256g阿里云服务器组成的4节点集群，hadoop3.2.2 作为分布式存储，Cloudwave4.0在 SSB1000g 国际标准测试集下，整体性能优于Starrocks3.0近0.36倍。

大数据StarRocks(九)：资源隔离实战

运维仙人

01-29

1808

自 2.2 版本起，StarRocks 支持资源组管理，集群可以通过设置资源组（Resource Group）的方式限制查询对资源的消耗，实现多租户之间的资源隔离与合理利用。在 2.3 版本中，StarRocks 支持限制大查询，集群可以进一步控制大查询对资源的消耗，避免少数的大查询耗尽系统资源，进而影响系统稳定性。StarRocks 2.5 版本支持通过资源组对导入计算进行资源隔离，从而间接控制导入任务对集群资源的消耗。

左边是 BE 进程的内存总占用，右边是索引的内存总占用

feidododekefu的博客

11-15

589

左边是 BE 进程的内存总占用，右边是索引的内存总占用

spark connector部分更新写starrocks 出现磁盘暴涨

qq_40839450的博客

12-13

475

对starrocks中的表中的亿级大表中的部分字段进行更新操作，但是更新过程中发现sr集群磁盘出现暴涨，直接导致其他业务数据写入报错。

排查 Java 堆外内存增长问题

散落的博客

06-25

4870

最近排查一个线上java服务常驻内存异常高的问题，大概现象是：java堆Xmx配置了8G，但运行一段时间后常驻内存RES从5G逐渐增长到13G #补图#，导致机器开始swap从而服务整体变慢。由于Xmx只配置了8G但RES常驻内存达到了13G，多出了5G堆外内存，经验上判断这里超出太多不太正常。前情提要–JVM内存模型开始逐步对堆外内存进行排查，首先了解一下JVM内存模型。根据JVM规范，JVM运行时数据区共分为虚拟机栈、堆、方法区、程序计数器、本地方法栈五个部分。虚拟机栈：每个线程有一个私有的栈，

StarRocks入门

鲸鱼

09-28

4403

目录一、数据导入1.Broker load2.Stream load3.Routine load4.Insert5.Multi load 一、数据导入 1.Broker load 2.Stream load 3.Routine load 4.Insert 5.Multi load

【性能优化】低配starRocks常驻内存优化

记录生活

09-27

2303

由于服务器的实际资源小于starRocks官方的配置，导致starRocks在无任务的情况下，常驻内存偏高，可用于查询的资源变小。实际部署的集群一般是4C8G和8C16G，be的配置不达标为了解决单次查询内存不足的问题，提升系统稳定性。放弃starRocks默认开启的通过内存换时间的优化逻辑，降低内存使用。

StarRocks 实战指南：100+ 大型企业背后的最佳实践经验

StarRocks的博客

04-23

1372

编者荐语：本文由镜舟科技的 DBA 团队负责人景丹撰写。在过去三年中，他服务了上百家 StarRocks 大型企业用户，并总结了最佳使用方法。文章涵盖了部署、建模、导入、查询和监控五个模块。以下文章来源于小景说，作者镜舟科技 DBA。

Starrocks定位内存问题

u012333203的博客

04-24

461

1. 修改 bin/start_backend.sh。

大数据StarRocks(二) StarRocks集群部署_starrocks 资源评估

2401_84181986的博客

04-28

1134

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

centeros starrocks集群部署

03-24

### 部署 StarRocks 分布式集群于 CentOS 的安装配置教程 #### 准备工作在部署 StarRocks 集群之前，需确保所有节点的操作系统均为 CentOS 并完成基础环境准备。具体操作包括但不限于更新操作系统软件包、关闭防火墙以及 SELinux 设置[^1]。 ```bash sudo yum update -y sudo systemctl stop firewalld sudo setenforce 0 ``` #### 编写 Ansible 主机清单文件 Ansible 是一种高效的自动化工具，可用于简化分布式系统的部署过程。创建主机清单文件 `/etc/ansible/roles/starrocks_hosts.ini` 来定义目标服务器组及其 IP 地址： ```ini [starrocks_server] 192.168.1.101 ansible_user=root 192.168.1.102 ansible_user=root 192.168.1.103 ansible_user=root ``` 上述配置表示三台服务器作为 StarRocks 节点参与集群构建。 #### 解压 StarRocks 安装包至各节点通过 Ansible 执行命令解压 StarRocks 压缩包到指定目录 `/opt/software` 中： ```bash ansible -i /etc/ansible/roles/starrocks_hosts.ini starrocks_server -m shell -a "tar -zxvf /opt/software/StarRocks-3.3.2-centos-amd64.tar.gz -C /opt/software" ``` 此命令会将压缩包 `StarRocks-3.3.2-centos-amd64.tar.gz` 提取到每台目标机器上的 `/opt/software` 文件夹下。 #### 修改 StarRocks 配置文件进入已解压的 StarRocks 目录并编辑核心配置文件 `fe.conf` 和 `be.conf`。这些文件通常位于子目录如 `conf/` 下面。以下是部分关键参数设置示例：对于 Frontend (FE): ```properties # fe.conf example configuration meta_dir=/data/meta/ edit_log_roll_size=1G max_memory_limit_ratio=0.7 ``` 对于 Backend (BE): ```properties # be.conf example configuration storage_root_path=/data/be_data/ heartbeat_service_port=9050 brpc_port=12500 ``` 以上路径应根据实际磁盘挂载情况调整，并确认有足够的存储空间支持数据增长需求。 #### 启动服务组件启动 FE 及 BE 组件前先初始化元数据库结构: ```bash cd /opt/software/StarRocks-fe/bin/ ./init_fe.sh --user root --password '' ``` 随后分别启动前端与后端进程: ```bash # Start FE instance on master node only. /opt/software/StarRocks-fe/bin/start_fe.sh --daemon # On all backend nodes, start corresponding services. /opt/software/StarRocks-be/bin/start_be.sh --daemon ``` 验证各个实例运行状态正常之后即可继续后续测试环节。 #### 测试连接性及功能验证利用 MySQL 客户端尝试访问刚刚搭建好的 StarRocks 实例，默认监听地址为本地回环接口(`localhost`)加上默认端口(9030)，如下所示： ```sql mysql -h127.0.0.1 -P9030 -uroot SHOW DATABASES; USE testdb; CREATE TABLE IF NOT EXISTS mytable(id INT, name VARCHAR(50)); INSERT INTO mytable VALUES(1,'Alice'),(2,'Bob'); SELECT * FROM mytable; ``` 如果一切顺利，则说明整个集群已经成功上线可以投入使用了。 ---