StarRocks实战——特来电StarRocks应用实践

原创 已于 2024-04-12 07:11:32 修改 · 1.5k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #数据仓库

于 2024-03-01 07:56:10 首次发布

目录

一、为何引入StarRocks

二、主要应用场景

三、封装或扩展

四、集群监控预警

五、总结规划展望

5.1 使用经验分享

5.2 下一步计划

5.2.1 StarRocks集群自动安装

5.2.2 StarRocks集群高可用架构

   原文大佬的这篇StarRocks应用实践有借鉴意义，这里摘抄下来用作学习和知识沉淀。如有侵权，请告知~

一、为何引入StarRocks

       目前公司大数据平台已经引入了多个OLAP技术框架，随着应用的深入，在部分场景下发现这些框架也都由各自的缺点，主要体现在以下几个方面：

      因此期望寻找一款能至少在部分业务场景下解决以上问题的新框架，与现有框架实现互补，理想情况下能替换调部分技术框架，满足功能需求的同时降低技术栈复杂度。

二、主要应用场景

  目前主要将StarRocks应用于业务数据的分析和大屏展示，业务数据经过实时清洗进入StarRocks或通过离线方式定时拉取写入StarRocks，再经过相应扩展分别提供给

了解本专栏 订阅专栏 解锁全文 超级会员免费看
StarRocks实战——表设计规范与监控体系
爱吃辣条的博客
02-27 2764
StarRocks实战——表设计规范与监控体系
StarRocks实战——贝壳找房数仓实践
爱吃辣条的博客
02-28 1967
StarRocks实战——贝壳找房数仓实践
利用快马AI平台快速构建StarRocks实时数据分析应用
最新发布
ObsidianRaven13的博客
11-05 367
StarRocks的向量化引擎确实能显著提升分析查询性能合理设计物化视图可以减少75%以上的查询延迟前后端分离架构更适合这种实时分析场景使用InsCode(快马)平台可以节省约60%的开发和部署时间特别是平台的智能代码生成功能，帮我快速生成了基础的前后端框架代码，让我可以专注于业务逻辑开发。对于想快速验证想法的开发者来说，这真的是个不错的选择。如果你也需要构建类似的分析应用，不妨试试这个方案。从开发到上线，整个过程可能会比你想象的更顺利。
StarRocks实战——云览科技存算分离实践
爱吃辣条的博客
03-12 1778
StarRocks实战——云览科技存算分离实践
StarRocks实战——欢聚集团极速的数据分析能力_starrocks quota(1)
2401_84185471的博客
04-30 883
在这种“既要又要还要”的诉求下，选型很困难。OLAP 常用的技术架构有预计算、MPP、索引。单一技术架构的引擎很难满足需求，因此我们把目标瞄向混合架构引擎：同时具有预计算、MPP 计算、支持索引的引擎。目前市面上这类引擎不多，比较成熟的有 Apache Doris 和 StarRocks。最后选择 StarRocks，原因是 StarRocks 的社区更加活跃，产品的背后还有一支大胆创新的强大技术团队，响应非常及时，我们对 StarRocks 的未来更有信心。
StarRocks实战——滴滴OLAP的技术实践与发展方向
爱吃辣条的博客
02-23 1566
StarRocks——滴滴OLAP的技术实践与发展方向
StarRocks实战——松果出行实时数仓实践
爱吃辣条的博客
03-03 1869
StarRocks实战——松果出行实时数仓实践
StarRocks实战——游族多维分析场景与落地实践
爱吃辣条的博客
02-24 1608
StarRocks实战——游族多维分析场景与落地实践
StarRocks实战——多点大数据数仓构建
爱吃辣条的博客
03-28 3126
StarRocks实战——多点大数据数仓构建
StarRocks简单使用
talen_hx的博客
03-29 2612
从clickhouse迁移到StarRocks，研究讨论后，决定使用flink进行kafka同步到StarRocks。StarRocks可以选择固定分区和动态分区，考虑到数据增长，故选按天进行动态分区。4、写同步数据的flink sql，配置source和sink。4、使用mybatis的多数据源框架，配置多数据源进行查询。因数据都是日志类数据，帮选择了Duplicate。连接StarRocks可视化工具：SQLyog。在查询的方法前配置注解。
StarRocks 实战指南：100+ 大型企业背后的最佳实践经验
StarRocks的博客
04-23 1686
编者荐语：本文由镜舟科技的 DBA 团队负责人景丹撰写。在过去三年中，他服务了上百家 StarRocks 大型企业用户，并总结了最佳使用方法。文章涵盖了部署、建模、导入、查询和监控五个模块。以下文章来源于小景说 ，作者镜舟科技 DBA。
StarRocks极客营 | 90天，17名新晋贡献者，SQL Planner 实战回顾
StarRocks的博客
10-29 888
若能体验一个字符串的 SQL 怎么一步步在 StarRocks 被执行起来，对于 OLAP 开发者来说，能大大帮助理解整个框架和系统流程。
StarRocks的应用场景
齐天大圣数据候的博客
04-25 4900
StarRocks的应用场景 StarRocks简介 StarRocks是新一代极速全场景MPP数据库。 StarRocks充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果，在业界实践的基础上，进一步改进优化、升级架构，并增添了众多全新功能，形成了全新的企业级产品。 StarRocks致力于构建极速统一分析体验，满足企业用户的多种数据分析场景，支持多种数据模型(明细模型、聚合模型、更新模型)，多种导入方式（批量和实时），支持导入多达10000列的数据，可整合和接入多种现有系统(Spa
StarRocks实战——vivo基于 StarRocks 构建实时大数据平台
爱吃辣条的博客
03-01 1428
StarRocks实战——vivo基于 StarRocks 构建实时大数据平台
StarRocks简介与搭建使用
qq_70696245的博客
03-27 5663
StarRocks 是一款高速、实时、全场景的MPP（大规模并行处理）分析型数据库系统，专为现代数据分析场景设计，强调亚秒级查询性能和高并发能力。它兼容MySQL协议，使得用户可以利用现有的MySQL客户端工具和BI工具进行查询和数据分析。StarRocks基于MPP架构，采用全向量化执行引擎、列式存储技术和智能优化器等先进技术，实现了数据的快速加载、实时更新以及复杂查询的高效处理。可以满足企业级用户的多种分析需求，广泛应用于实时数仓、OLAP 报表、数据湖分析等场景。
直播 | StarRocks 实战系列第三期--StarRocks 运维的那些事
StarRocks的博客
03-01 439
StarRocks 实战系列第三期--StarRocks 运维的那些事
信创 CDC 实战｜国产数据库的数据高速通道：OceanBase 实时入仓 StarRocks
Tapdata 技术博客
06-20 1237
本系列文章聚焦主流信创数据库，逐一拆解其在数据实时入仓场景下的痛难点，及对应的解决方案。本篇任务：OceanBase → StarRocks
直播 | StarRocks 实战系列第二期--导入优化＆问题排查
StarRocks的博客
02-16 905
From Zero to StarRocks Hero
快速上手StarRocks：利用StarRocks实现高性能矢量存储
nseejrukjhad的博客
11-19 444
StarRocks作为矢量存储提供了一个快速、强大的解决方案，为实时分析提供了极佳的支持。StarRocks 官方文档LangChain 社区文档。
starrocks建表实战
07-16
在StarRocks中，建表是一个关键的操作，它决定了数据如何存储、分区以及分布。以下是一个实战的建表示例，并结合不同配置选项进行详细说明。 ### 建表基本语法 StarRocks的建表语句支持多种高级特性，包括分区（Partition）、分桶（Bucket）、副本策略（Replica）等。一个典型的建表语句如下： ```sql CREATE TABLE srtestdb.test_sr ( date_id DATE, site_id INT DEFAULT 10, city_code SMALLINT, user_name VARCHAR(32) DEFAULT '', pv BIGINT DEFAULT 0 ) PARTITION BY RANGE(date_id)( PARTITION p1 VALUES LESS THAN ('2020-01-31'), PARTITION p2 VALUES LESS THAN ('2020-02-29'), PARTITION p3 VALUES LESS THAN ('2020-03-31') ) DUPLICATE KEY(date_id, site_id, city_code) DISTRIBUTED BY HASH(site_id) BUCKETS 10; ``` ### 分区策略（Partition） 使用`PARTITION BY RANGE`可以对表按照指定列的范围进行水平分区。例如，在上面的例子中，`date_id`被划分为三个分区：`p1`、`p2`和`p3`，分别对应不同的日期范围。这种分区方式有助于提高查询性能，尤其是当查询条件包含分区键时[^1]。 ### 分桶策略（Distribution） `DISTRIBUTED BY HASH(site_id) BUCKETS 10`表示该表的数据将根据`site_id`字段进行哈希分桶，共分成10个桶。这种方式可以均匀地将数据分布到多个BE节点上，从而实现并行计算和负载均衡。选择合适的分桶字段对于提升查询性能至关重要，通常建议选择高基数且频繁用于过滤或连接的字段作为分桶字段[^1]。 ### 数据模型（Key Model） 在该示例中使用了`DUPLICATE KEY`模型，表示每行数据都是独立的，不会去重。StarRocks还支持其他几种数据模型，如： - **AGGREGATE KEY**：适用于聚合场景，相同KEY的数据会自动合并。 - **UNIQUE KEY**：保证主键唯一性，适合需要精确更新的场景。 - **DUPLICATE KEY**：默认模型，允许重复记录。 根据业务需求选择合适的数据模型是优化查询性能的重要步骤之一。 ### 字段默认值与约束 可以在定义字段时设置默认值，如`site_id INT DEFAULT 10`、`user_name VARCHAR(32) DEFAULT ''`等。这些默认值在插入新记录时如果没有显式提供值，则会自动填充。此外，还可以通过`NOT NULL`约束来确保某些字段必须有值。 ### 更新操作（适用于StarRocks 3.0+） 从StarRocks 3.0版本开始，支持通过`UPDATE`语句修改表中的数据。例如： ```sql UPDATE table1 SET a2 = t2.b2 FROM table2 t2 WHERE table1.a1 = t2.b1; ``` 需要注意的是，`UPDATE`语句只能使用`JOIN`语法，并且要更新的字段不能带表的别名。此功能仅在3.0及以上版本可用[^2]。 ### 字段增删改 - **增加字段**： ```sql ALTER TABLE student_test ADD COLUMN `name` DOUBLE NULL COMMENT '姓名'; ``` - **删除字段**： ```sql ALTER TABLE student_test DROP COLUMN `name`; ``` - **修改字段**： ```sql ALTER TABLE student_test RENAME COLUMN `name` TO `student_name`; ``` 需要注意的是，字段修改相关的SQL在不同版本中可能存在兼容性问题，建议使用3.3及以上版本以获得更好的支持[^2]。 ### 热数据缓存配置（Data Cache） StarRocks支持通过`datacache.partition_duration`参数控制热数据的有效期。该参数为字符串类型，单位可以是`YEAR`、`MONTH`、`DAY`或`HOUR`。例如，设置为`7 DAY`表示热数据的有效期为7天。如果未指定，默认情况下所有数据都会被缓存。这对于频繁访问的数据非常有用，可以显著提升查询性能[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值