StarRocks入门到熟练

AI摘要

本文详细介绍了StarRocks 3.1版本集群的完整部署流程,涵盖FE/BE/Broker实例的高可用架构设计、配置调优、启停管理、用户权限控制、Hive Catalog与资源授权、Broker Load/Stream Load数据同步、动态分区表、物化视图及tablet状态修复等核心运维操作,强调生产环境下的资源配置、安全实践与故障处理方法。

1、部署

1.1、注意事项

需要根据业务需求设计严谨的集群架构,一般来说,需要注意以下几项:

1.1.1、FE数量及高可用
  • FE的Follower要求为奇数个,且并不建议部署太多,通常我们推荐部署1个或3个Follower。
  • 在三个Follower时,即可实现高可用(HA)。此时,若Leader节点进程挂掉或与集群脱离通信,其他2个Follower节点会通过bdbje协议快速重新选主出一个Leader,保证集群的正常工作(FE
    Leader节点异常仅影响集群写入,不会对集群对外的查询功能有影响)。
  • 集群中需要有半数以上的Follower节点存活,才可进行FE的重新选主。
  • 一般情况下,推荐部署1 Follower+多Observer的FE架构,通过增加Observer来扩展集群的高并发读服务能力。
  • 通常,一个FE节点可以应对10-20台BE节点,建议总的FE节点数量在10个以下,而一般3个即可满足绝大部分业务需求。
1.1.2、BE实例数量
  • BE实例数量直接决定了集群整体查询延迟,生产环境BE数量建议至少为3个。
  • 为保障数据安全,建议至少部署三个BE实例(不同Host)。
1.1.3、Broker实例数量
  • 通常与BE混布,与BE数量保持相同,建议所有的Br
StarRocks入门 目录一、数据导入1.Broker load2.Stream load3.Routine load4.Insert5.Multi load 一、数据导入 1.Broker load 2.Stream load 3.Routine load 4.Insert 5.Multi load 阅读详情

相关推荐

StarRocks(四)StarRocks的使用

1、Colocate join shuffle join 和 broadcast join 中,参与 join 的两张表的数据行,若满足 join 条件,则需要将它们汇合在一个节点上,完成 join。这两种 join 方式,都无法避免节点间数据网络传输带来额外的延迟和其他开销。而 colocation join 则可避免数据网络传输开销,核心思想是将同一个 Colocation Group 中表,采用一致的分桶键、一致的副本数量和一致副本放置方式,因此如果 join 列为分桶键,则计算节...

Yuan_CSDF的博客 6114

StarRocks入门部署

StarRocks 是一款高性能分析型数据仓库。广泛应用于实时数仓、OLAP 报表、数据湖分析等场景。

itwxming的博客 3157

【StarRocks系列】StarRocks vs Mysql

StarRocks 是一款高性能、全场景、分布式、实时分析型的数据库(MPP - 大规模并行处理)。它诞生于解决现代企业对海量数据进行快速、复杂分析的需求,尤其是在实时数据仓库、用户行为分析、日志分析、统一数仓等场景下表现卓越。这是最根本的区别,决定了后续所有架构和优化的方向。列存(分析优化) vs 行存(事务优化)。原生分布式、并行计算(MPP) vs 单机为主(通过主从复制扩展读)。擅长处理扫描大量数据、复杂计算的分析型查询 vs 擅长基于索引的点查和简单范围查询。

技术改变世界 1720

Spring Boot集成starrocks快速入门Demo

StarRocks 是新一代极速全场景 MPP (Massively Parallel Processing) 数据库。StarRocks 的愿景是能够让用户的数据分析变得更加简单和敏捷。用户无需经过复杂的预处理,就可以用 StarRocks 来支持多种数据分析场景的极速分析。StarRocks架构简洁,采用了全面向量化引擎,并配备全新设计的 CBO (Cost Based Optimizer) 优化器,查询速度(尤其是多表关联查询)远超同类产品。

CTZL123456的博客 1077

StarRocks各版本性能与兼容性对比测试-StarRocks安装部署

再次使用第一条命令来确认端口9050是否被其他进程占用,如果此时没有显示任何进程占用端口,说明端口已被释放,即可重新启动BE节点。直接复制会导致所有 FE 节点共享相同的元数据标识,导致集群脑裂(split-brain)或启动失败。每个 BE 节点在集群中有唯一的 be_id (由 FE 分配),直接复制可能导致 BE 标识冲突。如果直接复制第一个节点的配置,其他节点的 IP 可能未正确修改,导致节点间无法通信。FE 的元数据目录 ( meta_dir ) 必须独立初始化,不能直接复制。

QXXDYL的博客 1151

starrocks集群搭建

3.修改follower角色为observer角色,原starrock架构为1台leader,4台follower,现架构为1台leader,2台follower,3台observer,需要停止FE和BE进程并且删除FE服务的元数据和BE服务的数据文件。修改配置文件 be/conf/be.conf 主要内容如下。starrocks库中添加BE节点信息。starrocks库中添加BE节点信息。下载StarRocks-3.3.2。先注册表节点信息,然后启动节点服务。先注册表节点信息,然后启动节点服务。

weixin_41939388的博客 1290

StarRocks Lakehouse 快速入门——Apache Paimon

Apache Paimon (后简称 Paimon)起源于 Apache Flink (后简称 Flink)的一个子项目,起初它只是 Flink 内置的 Table Store 的一个格式,经过了几年的发展后,在 2024 年成功从 Apache 软件基金会(ASF)孵化器毕业,成为正式的顶级项目。Paimon 围绕具有 ACID 特性的数据湖存储构建,支持 DML 操作, 可以完整地支持批处理和流处理。它创新性地将 LSM Tree 与湖格式相结合,具有高效的实时更新能力与 compaction 效率。

StarRocks的博客 2248

StarRocks从入门到精通系列二:手动部署StarRocks

StarRocks从入门到精通系列二:手动部署StarRocks

zhengzaifeidelushang的博客 2019

R | 提取文件夹内栅格数据的最小值、最大值、标准差和平均值

各位同学好,我们长需要用长时间序列栅格数据的平均值做变量的时间变化分析,用代码能够帮助我们省下很多时间。

qq_48539301的博客 449

MMdetection3D与MMdetection版本匹配全攻略:从安装到测试一步到位

本文详细解析了MMdetection3D与MMdetection版本匹配的关键问题,提供了从环境配置到测试验证的完整指南。针对常见的安装错误,文章强调了版本依赖链(PyTorch、MMCV、MMDetection、MMDetection3D)精确对齐的重要性,并给出了基于CUDA 11.3等环境的实战版本组合与避坑方案,帮助用户高效部署3D目标检测开发环境。

xgboost6farmer的博客 238

Python+ArcGIS实战:5步搞定土壤类型预测(附随机森林模型配置技巧)

本文详细介绍了如何结合Python与ArcGIS,利用随机森林模型进行土壤类型预测。通过5个核心步骤——数据预处理、样本创建、模型构建、空间预测与精度验证,构建了一套自动化、高精度的空间预测工作流,并提供了关键的模型配置与调参技巧,助力GIS开发者高效完成土壤制图任务。

weixin_29227585的博客 395

Linux系统之部署经典魔塔小游戏

Linux系统之部署经典魔塔小游戏

jks212454的博客 1813

11、硬件工程师笔试面试——IGBT(2025版本)

IGBT的应用展望与创新趋势表明,随着电子技术的不断发展,IGBT在各个领域都有广泛的应用,如高压电力系统、交通工具、电锅炉、太阳能和风能发电系统等。FS型IGBT(场终止型绝缘栅双极晶体管)在电力传输领域的应用中,通过其独特的设计和特性,有助于确保系统的稳定性和安全性。每种器件都有其独特的优势,能够满足电力传输系统中不同的技术要求。FS型IGBT通常具有正温度系数,这意味着随着温度的升高,导通压降的主要影响因素是载流子迁移率的降低以及集电极和发射极的接触电阻的增加,有助于在高温下维持稳定的性能。

XU157303764的博客 2671

解决【x2openEuler环境检查未通过——CheckRepoCurlActor不通过】问题

摘要:x2openEuler使用默认repo源时出现环境检查失败问题,原因是默认源返回308永久重定向错误。解决方法包括:1)为CentOS主机配置华为yum源;2)在x2openEuler Web界面修改为自定义可用源。具体步骤包括备份原源、下载华为源、清除缓存,并通过curl测试确认新源可用性。最终成功配置openEuler-24.03-LTS-SP1版本的repo源后,环境检查顺利通过。

提供C#相关开发 、云计算、运维测试、网络安全相关技术分享与服务,有意向可联系。 258

BMP390L数字大气压传感器原理图设计,已量产(压力传感器)

在工业设备的室内定位、地下设施监测这类 GPS 信号盲区场景里,气压高度检测的 “靠谱程度” 直接决定了系统的可用性 —— 毕竟谁也不想在地下停车场导航时,设备把 1 楼误判成 3 楼。最近在项目里基于博世 BMP390L 做了硬件电路设计,正好聊聊这款工业级数字气压传感器的硬实力,以及原理图里的那些关键设计细节。

不脱发的程序猿 350

SAP FICO CBS接口-银企直连付款平台功能开发说明书(包括测试样例、FS)

SAP FICO CBS接口-银企直连付款平台功能开发说明书(包括测试样例、FS)

我好像病了的博客 2448

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

上一篇: 数仓架构模型设计参考
下一篇: Doris-1.2.6集群
小成学大数据
博客等级 码龄9年 4229粉丝 169原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小成学大数据

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值