qq_15138049的博客

原创 StarRocks 事务

starrocks 事务

原创 SparkSQL query optimization

Spark, in recent years, has become the go-to distributed computation framework for a lot of different use cases. From only providing map-reduce funtionalities, it has introduced other modules: from machine learning, to graph data, to SQL.Today we will focu

转载 揭露数据不一致的利器 —— 实时核对系统

随着企业业务发展，以及微服务化大趋势下单体服务的拆分，服务间的通信交互越来越多。与单体服务不同，微服务间的数据往往需要通过额外的手段来保障一致性，例如事务消息、异步任务补偿等。除了从机制上最大程度保障以外，如何观测并及时发现数据不一致也非常重要。本文介绍 Shopee Financial Products 团队设计和开发的实时核对系统（Real-time Checking System）

原创 Spark Tuning -- explaining Spark SQL Join Types

Spark join type

原创 Dolphinscheduler 参数传递

参数传递

翻译 Rapidly Changing Dimension (RCD) in Data Warehouse 杂项维度

杂项维度

原创 企业微信——智能表格学习

企业微信报表

原创 Spark Optimization —— Reducing Shuffle

randomness。

原创 Apache Gravitino 元数据管理

元数据管理

转载 用户商品推荐

商品推荐

原创 StarRocks FE启动异常

服务器断电，StarRocks FE 启动失败。

原创 Starrocks 元数据恢复 failed to load journal type 10242

Starrocks 元数据恢复

原创 Starrocks with 嵌套

在某些场景下需要进行 with 嵌套

翻译 Recommender System using ALS in Pyspark

【代码】Recommender System using ALS in Pyspark。

原创 Apifox 接口中文报 Request path contains unescaped characters

原创 数值治理学习记录

数据治理

转载 详解数据治理体系

数据治理

翻译 How to develop an enterprise data warehouse from scratch to foster a data-driven culture

data warehouse

原创 hive SQL264 牛客每个人最近的登录日期(五)

hive sql

原创 hive on spark 记录

hive on spark 记录。

原创 Stargo 管理部署 Starrocks 集群

Stargo

原创 docker 子网

docker 子网

原创 docker busybox 工具容器

linux busybox 工具

原创 StarRocks 进行 streamload 导入本地数据 NULL value in non-nullable column

starrocks streamload

转载 StarRocks 分页查询使用不同的排序列,导致查询结果不一致问题

StarRocks

转载 一文看懂Linux内核页缓存（Page Cache）

page Cache

转载 虚拟机断电重启起不来 Failed to start Login Service

背景：电脑断电，虚拟机无法启动。

原创 StartRocks 连接 Paimon外部表

startRocks paimon

原创 Dinky 整库同步至 Paimon 数据湖

dinky paimon

原创 docker devicemapper: Error running DeleteDevice dm_task_run failed

docker devicemapper 删除容器异常

原创 Mysql 字符集 Illegal mix of collations

mysql 字符集

原创 Mysql 非正常关闭，启动异常

Mysql 启动异常

原创 Linux流量监控

流量监控

原创 NFS 挂载异常 Output: mount: wrong fs type, bad option, bad superblock on xxx

nfs 挂载异常

转载 Apache Doris Colocate Join 原理实践教程

doris Colocate Join

转载 BitMap学习

bitmap

原创 ping通但浏览器访问不了

网络异常

转载 增量表、全量表、拉链表的应用场景及优缺点详解

事实——增量表、全量表、拉链表、快照表

原创 kafka latest 模式消费偏移丢数据

flink kafka

转载 数仓概念 | 逻辑 | 物理模型

数仓概念模型、逻辑模型、物理模型