自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(6)
  • 收藏
  • 关注

翻译 What If We Could Rebuild Kafka From Scratch?

What If We Could Rebuild Kafka From Scratch?

2025-04-24 23:39:24 93

翻译 第五章:Iceberg Catalogs

在本章中,我们将深入了解 Iceberg Catalog。您已经知道catalog 是 Iceberg 的关键组件,它能够确保在多个读取和写入之间保持一致性,并帮助发现环境中可用的表。

2024-09-15 21:07:00 1863 2

翻译 第四章: Apache Iceberg表的性能优化

如你在第3章中看到的,Apache Iceberg 表提供了一个元数据层,允许查询引擎创建更合理的查询计划以获得更好的性能。然而,元数据只是优化数据查询性能的开始。您拥有多种可用于优化的方式,包括减少数据文件数量、数据排序、表分区、行级更新处理、指标收集以及外部因素等。这些方案在增强数据处理性能方面发挥着至关重要的作用,本章将对它们逐一进行探讨,旨在解决可能的性能瓶颈并提出加速方案。

2024-09-05 23:37:47 1080

翻译 第三章:Apache Iceberg 写入与读取操作详解

本文翻译自 :若侵权,留言删除Apache Iceberg 表格式通过在读写操作中提供高效操作支持,使得可以直接在数据湖上执行在线分析处理(OLAP)任务成为可能。实现这一高性能查询的关键,在于Iceberg表各组成部件的设计方式。因此,深入理解这些构成部分的结构对于执行引擎来说极为重要,以便它们能更有效地运用这些部件来规划如何进行加速查询。我们在第二章中对这些架构组件进行了详尽探讨。从宏观层面看,所有这些组件可以被划分为如图3-1所示的三大不同层级。

2024-09-05 14:08:21 1503

翻译 第二章:Apache Iceberg的架构

本文翻译自 :若侵权,留言删除在本章中,我们将通过深入讨论 Apache Iceberg 的架构设计和规范来了解Iceberg 表是如何及解决Hive中固有的问题的。我们将介绍 Iceberg 不同结构的表以及每种结构提供和实现的功能,以便您更好的了解底层的实现原理,并更好地构建基于 Apache Iceberg 的湖仓一体。

2024-09-04 23:56:46 1268 1

翻译 第一章:Apache Iceberg的简介

在存储和处理系统方面,关系型数据库管理系统(RDBMS)长期以来一直是组织记录所有交易数据的标准选择。例如,假设您经营一家运输公司,想要保存客户的新预订信息。在这种情况下,每个新预订都会成为RDBMS中的一行新记录。用于此目的的RDBMS支持一种特定的数据处理类别,称为在线事务处理(OLTP)。OLTP优化的RDBMS示例包括PostgreSQL、MySQL和Microsoft SQL Server。这些系统旨在并优化以实现与一次或少数几行数据的快速交互,是支持企业日常运营的好选择。

2024-09-04 18:19:06 2055

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除