qq_15138049的博客

原创 DWS层新增指标处理方案

业务逻辑确认： 与业务方或需求方深入沟通，清晰定义新指标的计算公式、统计口径（维度、粒度）、业务含义、是否允许为空、默认值是什么。数据来源确认： 确定计算该指标所需的最细粒度数据来源：是否完全依赖现有 DWS 层数据即可计算？(最理想情况，影响最小)是否需要依赖 DWD (Data Warehouse Detail) 层的明细数据？(需要向下追溯)是否需要依赖 ODS (Operational Data Store) 层或其他外部数据源？(影响较大，需评估数据质量和接入)历史数据要求。

转载 LD_LIBRARY_PATH

【代码】LD_LIBRARY_PATH。

原创 记一次 Starrocks be 内存异常宕机

突发性 be 内存飙高，直至被系统 kill 掉，be 内存如下：其中指标打满，重启也是如此看到被 kill 了每次重启 be 都会去拉起 tablet: 3544744及。

原创 StarRocks 异常 Table creation timed out.

【代码】StarRocks 异常 Table creation timed out.

原创 StarRocks 事务

starrocks 事务

原创 SparkSQL query optimization

Spark, in recent years, has become the go-to distributed computation framework for a lot of different use cases. From only providing map-reduce funtionalities, it has introduced other modules: from machine learning, to graph data, to SQL.Today we will focu

转载 揭露数据不一致的利器 —— 实时核对系统

随着企业业务发展，以及微服务化大趋势下单体服务的拆分，服务间的通信交互越来越多。与单体服务不同，微服务间的数据往往需要通过额外的手段来保障一致性，例如事务消息、异步任务补偿等。除了从机制上最大程度保障以外，如何观测并及时发现数据不一致也非常重要。本文介绍 Shopee Financial Products 团队设计和开发的实时核对系统（Real-time Checking System）

原创 Spark Tuning -- explaining Spark SQL Join Types

Spark join type

原创 Dolphinscheduler 参数传递

参数传递

翻译 Rapidly Changing Dimension (RCD) in Data Warehouse 杂项维度

杂项维度

原创 企业微信——智能表格学习

企业微信报表

原创 Spark Optimization —— Reducing Shuffle

randomness。

原创 Apache Gravitino 元数据管理

元数据管理

转载 用户商品推荐

商品推荐

原创 StarRocks FE启动异常

服务器断电，StarRocks FE 启动失败。

原创 Starrocks 元数据恢复 failed to load journal type 10242

Starrocks 元数据恢复

原创 Starrocks with 嵌套

在某些场景下需要进行 with 嵌套

翻译 Recommender System using ALS in Pyspark

【代码】Recommender System using ALS in Pyspark。

原创 Apifox 接口中文报 Request path contains unescaped characters

原创 数值治理学习记录

数据治理

转载 详解数据治理体系

数据治理

翻译 How to develop an enterprise data warehouse from scratch to foster a data-driven culture

data warehouse

原创 hive SQL264 牛客每个人最近的登录日期(五)

hive sql

原创 hive on spark 记录

hive on spark 记录。

原创 Stargo 管理部署 Starrocks 集群

Stargo

原创 docker 子网

docker 子网

原创 docker busybox 工具容器

linux busybox 工具

原创 StarRocks 进行 streamload 导入本地数据 NULL value in non-nullable column

starrocks streamload

转载 StarRocks 分页查询使用不同的排序列,导致查询结果不一致问题

StarRocks

转载 一文看懂Linux内核页缓存（Page Cache）

page Cache

转载 虚拟机断电重启起不来 Failed to start Login Service

背景：电脑断电，虚拟机无法启动。

原创 StartRocks 连接 Paimon外部表

startRocks paimon

原创 Dinky 整库同步至 Paimon 数据湖

dinky paimon

原创 docker devicemapper: Error running DeleteDevice dm_task_run failed

docker devicemapper 删除容器异常

原创 Mysql 字符集 Illegal mix of collations

mysql 字符集

原创 Mysql 非正常关闭，启动异常

Mysql 启动异常

原创 Linux流量监控

流量监控

原创 NFS 挂载异常 Output: mount: wrong fs type, bad option, bad superblock on xxx

nfs 挂载异常

转载 Apache Doris Colocate Join 原理实践教程

doris Colocate Join

转载 BitMap学习

bitmap