
StarRocks统一数仓
文章平均质量分 86
十六ᵛᵃᵉ
AGI爱好者!AGI革命进行时!!数仓&可视化&数据分析
展开
-
day04_StarRocks统一数仓_业务开发
维度表(Dimension Table)是数据仓库中的一种特殊类型的表,主要用于描述事实表中的各个维度信息。以下是维度表的简单介绍: 定义维度表是对事实的描述信息,每一张维度表对应现实世界中的一个对象或者概念。特征1.范围很宽:维度表通常具有多个属性(列),例如商品信息表可能包括商品ID、名称、类别、价格等多个字段。2.行数相对较少:维度表的行数通常远小于事实表,一般小于10万条记录。3.内容相对固定:维度表的数据变动频率较低,适合进行编码和分类管理,例如日期维表、地理维表等。分类。原创 2024-12-04 16:59:24 · 951 阅读 · 0 评论 -
day05_StarRocks统一数仓_业务开发
内容:姓名 、老家、大学,我上一家公司主要是做xxxxxx宏观 【主动】这样,我简单给您介绍一下我最近做的一个项目 【大多数面试官】嗯 【极少数面试官】这样,我来问几个问题 3-1:我们这个项目解决了什么问题?解决了之前业务上什么痛点(我们为什么要做这个项目,项目核心价值是什么)业务 3-2:我们这个项目的数据源是什么 ,数据源来源于哪里? 3-3:我们这个数据源是如何存储 (HDFS、StarRocks)原创 2024-12-03 23:58:50 · 752 阅读 · 0 评论 -
Day03_统一数仓_StarRocks
Round-Robin:以轮询的方式把数据逐个放置在相邻节点上。 Range:按区间进行数据分布。如上图所示,区间 [1-3]、[4-6] 分别对应不同的范围 (Range)。 List:直接基于离散的各个取值做数据分布,性别、省份等数据就满足这种离散的特性。每个离散值会映射到一个节点上,多个不同的取值可能也会映射到相同节点上。 Hash:通过哈希函数把数据映射到不同节点上。原创 2024-12-01 01:16:52 · 1350 阅读 · 0 评论 -
StarRocks统一数仓_图!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
文章目录一.基于Kafka、HDFS和StarRocks的实时与离线数据处理架构及流程图二. StarRocks基于Scatter-Gather架构的数据处理系统与查询优化流程图三. 即席查询架构流程四. SQL分区操作指南:时间函数表达式与列表达式分区一.基于Kafka、HDFS和StarRocks的实时与离线数据处理架构及流程图二. StarRocks基于Scatter-Gather架构的数据处理系统与查询优化流程图三. 即席查询架构流程四. SQL分区操作指南:时间函数表达式与列表达式分原创 2024-11-30 22:10:46 · 116 阅读 · 0 评论 -
Day02_统一数仓_StarRocks
1:概述 StarRocks 是新一代极速全场景 MPP (Massively Parallel Processing) 数据库。StarRocks 的愿景是能够让用户的数据分析变得更加简单和敏捷。用户无需经过复杂的预处理,就可以用 StarRocks 来支持多种数据分析场景的极速分析。2:特点: 1:mpp架构、向量化引擎,cbo优化器、物化视图,使查询速度大大加快 2:支持实时数据分析 3:starrocks兼容Mysql协议,支持SQL语法3:适用场景。原创 2024-11-29 22:06:48 · 906 阅读 · 0 评论 -
Day01_统一数仓介绍_FlinkCDC
1:什么是CDC监测并捕获数据库的变动(包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。原创 2024-11-28 21:12:49 · 1065 阅读 · 0 评论