探索 Snowflake Automatic Clustering 设计

Snowflake数据库调研及架构介绍 简介 https://docs.snowflake.com/en/user-guide/intro-key-concepts.html Snowflake是作为软件即服务(SaaS)提供的分析数据仓库。与传统的数据仓库产品相比,Snowflake提供了一个更快,更易于使用且更加灵活的数据仓库。Snowflake的数据仓库不是建立在现有数据库或Hadoop等“大数据”软件平台上的,Snowflake数据仓库使用新的SQL数据库引擎,该引擎具有为云设计的独特架构。对于用户而言,Snowflake与其他企业数 阅读详情

Context

Snowflake IPO 大火之后大家开始慢慢了解到这个完全基于云架构而设计的新式数据仓库。

Snowflake 利用云端近似无限的计算和存储资源,基于存算分离的新式架构,真正实现了按需、按量的付费模式,极大的降低了用户的使用成本,让用户更加专注于数据价值的挖掘。对于传统的数据仓库来说,Snowflake 就像一块降维打击的二向箔。

在业务增长过程中,用户的数据持续增长,从而导致单表变大,查询的 SQL 模式也可能会发生变化,这时问题就出现了:之前比较快的查询现在变慢了。Snowflake 为了解决这个问题,提供了一个硬核功能:Auto Clustering,让你在建表时无需指定任何分区字段,而查询则越跑越快。这里我们就来探索下 Snowflake 的 Auto Clustering 机制是如何实现的。

什么是 Auto Clustering

Snowflake 的 Clustering 功能和传统数据的 Partition 功能类似。但在传统的数据库系统中,大多依赖一些静态的分区规则来实现数据的物理隔离,如按时间,按用户特征 hash 等等,在 Hive 等数据仓库中,最常见到的还是按照时间分区。当一个带有分区字段相关查询过来的时候,分区的裁剪可以直接忽略掉不匹配的数据,这样就可以大大减少了数据的读取和计算,从而提高查询性能。注意:这里的 Clustering 是指分组、聚类的意思,注意不要理解为分布式、集群等概念。

静态分区用法非常简单,比如在 Hive 中:

-- Create Partition
ALTER TABLE table_name ADD PARTITION(dt='2020-03-26',hour='08')location'/path/table/20200326/08';
-- Then load data into the partition

开发人员在建表的时候必须知道数据的分布情况和将来面对的查询模式,增加了用户的心智负担。它有以下缺点:

  • 静态分区的规则是固定的,但数据却是随时间在变化的,比如业务持续增长过程中,按天分区的表新的分区会变大,从而导致分区分布不均匀。

Snowflake 在设计中完全抛弃了传统的静态 Partition 概念,而是提出了 Auto Clustering 的新设计。简而言之,用户再也不用关心我的表是如何分区了,用户只管写入和查询就是,数据分组,性能优化我会自动做!

Micro Partition(微分区)

虽然抛弃了静态分区,但 Snowflake 里面还是有 Micro-Partition 和 Cluster Key 的概念。

  • Cluster Key 是排序键,可以由多个字段组成,类似 ClickHouse 的 Order Key。

  • Micro-Partition 是数据的基本组成单元,一个表的数据由多个 Micro-Partition 组成。我们可以将它理解为一个物理文件,这个物理文件限制在 50 MB-500 MB 的大小(未压缩),物理文件采用了列式存储,不同的列存储在不同的连续空间内。Snowflake 会存储 Micro-Partition 的信息到元数据服务中,方便查询时通过元数据索引进行剪枝,如:

    • 每个列的区间索引,最大值、最小值等 (ZoneMap index)

    • 列分布的直方图信息

    • 其他…

Clustered Tables

数据表建立后,默认数据是自然序,自然序意味着我们没有做任何处理,数据就按照流入的顺序排列,此时表处于 Unclustered 状态。当表经历了 Clustering 后,每个 Micro-Partition 会按照指定的 Key 进行排序,可以理解为给表加了一个排序键,此时表处于 Clustered 状态。

clustered-tables.png

上图来自 Snowflake 文档。
Clustered 的主要目的是让大部分的查询能高效的裁剪数据,避免不需要的 IO 读取和计算。举个例子:

select name, country from t1 where type = 2 and date = '11/2';

怎样让表达到 Well-Clustered?在原始的数据排列中(自然序),上面的 SQL 会扫描到 4 个 Micro-Partition。而在 Clustered 状态下,数据已经按照 Cluster Key->(date, type) 进行排序,所以只会扫描到 1 个 Micro-Partition,其他的 Micro-Partition 都被引擎结合了存储在元数据的索引进行了裁剪过滤。

一般来说,大表不会是静态的数据,大多会是时序数据,也就是说数据不断地实时流入。因此,对整个表级别的数据全排序是非常不现实的,不仅代价较高,实时流入的数据也会影响全排序结果。另外一种方法是只对流入的数据进行排序,这样虽然新数据有比较好的顺序,但随着数据在不断地流入,数据整体的顺序会逐渐趋于混乱。

结合上面的分析,一个表如果能达到 Well-Clustered(表数据的整体有序度高),这样查询才能高效。在这个前提下,还需要保证“新数据能实时高效流入”(确保 DML 高效),两者之间存在一个平衡点,Snowflake 的做法是优先保证新数据能实时高效流入,新数据是不需要对数据整体的有序度“负责”,因为新数据相比历史数据来说量级较小,影响的有序度也较小,它只需保证局部有序就行了(确保新数据查询也能高效)。新数据在后台会异步进行合并,保证“表数据的整体有序度高”,也就是说,数据的整体有序是一个渐进的过程,而不是整体绝对有序的。

如何衡量 Well-Clustered ?

Snowflake 引入了几个主要的指标来衡量表的 Well-Clustered 程度:

  • Overlaps: 在一个 Range 范围内,有多少个 Micro-Partition 有重叠
  • Depth: 在一个数据点中,有多少个 Micro-Partition 有重叠

measuring-clustering.png

上面的图从上到下展示了四种表 Cluster 的状态,第一种情况是 4 个Micro-Partition 完全重叠,这种情况是最糟糕的,因为它没有任何区分度,命中了 A-Z 这个 Range 的查询会不可避免地扫描四个分区。随着 Depth 指标的下降,表中 Micro-Partition 变得逐渐离散,Overlaps 指标也在下降,表也逐渐变得更加 Well-Clustered。

当然,在实际的表分布中,Micro-Partition 的分布要达到最下面那样规整(全局有序)是不现实的,因为所需要的开销太大了。

  • levels:Micro-Partition 所属的级别

cluster-level1.png

为了减少写放大,Micro-Partition 的合并策略和 LSM-tree 类似,Micro-Partition 在后台不断地合并后形成新的 Micro-Partition,每次合并完成后,Micro-Partition 的 Level 值就会自增(clickhouse 也有类似的 Part 合并逻辑),所以 Level 表示的就是 Micro-Partition 经历过的合并次数(用来衡量经历过的合并成本)。新数据流入的 Micro-Partition Level 默认是 0,Level 越低的 Micro-Partition 中,Overlaps 和 Depth 指标相对来说会越高,在不断合并的过程中,Micro-Partition 变得越来越离散,表也变得更加 Well-Clustered。

cluster-level2.png

注意:Micro-Partition 只会和同 Level 的 Micro-Partition 合并, Level 存在最大值,避免写放大太严重。Auto Clustering 是如何进行的

Auto Clustering 是如何进行的

Auto Clustering 主要分为两大任务:

  • Part-Selection 任务
  • Part-Merge 任务

这块和 ClickHouse 的逻辑很类似,但明显的区别是 Snowflake 对云实在太偏爱了,上面所有的任务都可以在云端拉起独立的进程进行,而不需要占用用户的计算资源,并且这两个进程也是微服务化的,可以按需弹性伸缩。

Part-Selection 任务

Selection 任务会从某个 Level 中选择出 Micro-Partition 列表集合,选择的策略是启发式的。
上面提到的 2 个指标可以构建一个启发式的算法:

  1. Level 低的 Micro-Partition 被选择的优先级高,因此新流入的数据能有较高优先级合并到下个 Level,Level 越高的 Micro-Partition 除非在有充足的资源情况下,否则不会被合并。
  2. Depth 高的 Micro-Partition 被选择的优先级高。

因此 Selection 的目标就是降低 Level 中 Micro-Partition 的平均深度,AvgDepth。AvgDepth 又是如何计算的呢?
下面四个 Micro-Partition 的情况下:

avg-depth1.png

我们对每个端点进行分析,如果没有 overlap,depth 忽略,因为 depth 的目的就是衡量 overlap 的程度,引入 depth=0 会导致数据有偏差,此时 depth 表示一个端点覆盖了几个分区。

avg-depth2.png

最终的计算方式是:

AvgDepth = Sum(DepthOfOverflapPoint) / OverflapPointsCnt

Snowflake 没有公开具体的 Selection 算法,不过大概是 Level+AvgDepth 结合的一个公式进行排序,我们假设它是以每个 Level 的 AvgDepth 排序选择某个 Level,然后去顺序遍历此 Level 下的所有端点,超过了 AvgDepth 的连续端点会被选择作为 Range。

part-selection.png

  • 上面的曲线是如何构建的?
    横轴对应的就是 Key 的 Range,纵轴表示 Depth,计算方式大概是:遍历所有的 Micro-Partition,将 Micro-Partition 的 Range 的 Depth 进行求和(即上面的 DepthOfOverflapPoint ),得出对应端点的 Y 值(这里应该可以用差分数组的数据结构进行优化)

  • 选择的策略是什么?
    上图是选择了两个 Micro-Partition 列表的集合示例,选择的方式是顺序遍历所有的端点,如果端点的 Depth 超过了 AvgDepth,就会被选择,连续选择的端点构成一个 Range。

  • 为什么不直接选最高的 Depth?
    可以发现最高点 Depth 虽然最高,但覆盖的 Range 变窄,这样导致选择的 Micro-Partition 数量太小,对降低 AvgDepth 的影响较少。

  • 选择的结果是什么?
    看有多少个符合条件的波峰,上图是两个符合条件的波峰,这两个波峰互不重合,可以作为选择的结果集合,集合中内包含了 Micro-Partition 的 batches。
    ClickHouse 中也有类似的选择策略算法,建议读者有时间也可以去了解下。

Part-Merge 任务

接收到 Selection 的列表后,Part-Merge 可以独立地进行 Micro-Partition 的排序和合并,类似一个归并排序的过程。合并后的 Micro-Partition 就是一个全局有序的大 Micro-Partition 了。值得一提的是,合并后的分区如果超过了 500 MB 的阈值上限,就会被分裂成更小的 Micro-Partition,这和 ClickHouse 存储一个大的分区文件是不同的。
猜测可能是:

  1. Snowflake 和 ClickHouse 不一样, 它不再维护 Micro-Partition 内部的稀疏索引,稀疏索引的最小粒度就是 Micro-Partition。
  2. 在云端对象存储中,读取整个 Micro-Partition 比在 Micro-Partition 内部进行部分 Range 虽然 IO 开销稍大,但差异不会太大,而且对象存储一般都有对象级别的 Cache,所以 Snowflake 的元数据只存储了 Micro-Partition 粒度的索引。

其他

  • 收费

Snowflake 的 Auto Clustering 虽然没有使用客户的计算资源,但费用还是要算在用户头上的,在 Billing & Usage 页面可以看到对应的计费情况。

  • 易用性

目前,市面上大部分数据仓库都需要用户在建表时指定分区字段,预先判断数据的分布情况,这无疑加重了用户的使用负担,如果查询模式跟分区无关,做查询优化则非常困难,Auto Clustering 则很好的解决了这些问题。

Databend 社区也在研发 Auto Clustering 功能,通过技术创新不断提升产品的易用性和智能性。

相关配图,参考文章来源:

• Automatic Clustering at Snowflake

• How does automatic clustering work in Snowflake

• zero-to-snowflake-automated-clustering-in-snowflake

关于Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

  • Databend 文档:https://databend.rs/
  • Twitter:https://twitter.com/Datafuse_Labs
  • Slack:https://datafusecloud.slack.com/
  • Wechat:Databend
  • GitHub :https://github.com/datafuselabs/databend

文章首发于公众号: Databend

文章首发于公众号: Databend

浅谈SnowFlake架构 1 前言 SnowFlake作为近年来十分火爆的数据仓库应用获得了许多用户和投资人的青睐,本人日常工作中也经常使用SnowFlake做分析,所以对其背后的运行机制做了一些研究,今天和大家聊聊SnowFlake的主要架构和工作原理。 SnowFlake股价 2 SnowFlake主要特性 安全性和数据保护:SnowFlake支持多种验证方式,如Multi-Factor Authentication (MFA),Federal Authentication,Single Sign-on (SSO 阅读详情

相关推荐

从Clickhouse 到 Snowflake: 云原生

Clickhouse的功能迭代速度是很快的,比如最近社区推出的LLVM表达式优化、异步的Pipeline执行、zOrder等,都是非常重要的feature,对性能提升十分明显,一旦分叉这些功能就都用不上了,所以我们坚信兼容Clickhouse社区虽然会慢点,我们的设计会复杂点,但是会走的更远。Master Node自身多副本,多副本之间通过一致性协议保证高可用。模块结构如上图所示,在我们的架构中,Clickhouse实际是一个单机的库,所以虽然我们实现了复杂的控制流和存算分离的功能,但是通过精巧的设计,

j简说Linux的博客 957

Snowflake 弹性数仓 设计原理

The Snowflake Elastic Data Warehouse 论文读后感

天行健,地势坤 3941

ClickHouse与其他数据库的对比

与传统的关系型数据库 (RDBMS) 相比,ClickHouse 采用了列式存储方式,能够更有效地压缩数据,提高查询效率。此外,ClickHouse 支持多核并行处理和多服务器分布式处理,能够快速完成复杂的查询任务。但是,ClickHouse 没有完整的事务支持,不适用于需要事务性保证的应用场景。 与其他类型的列式数据库相比,ClickHouse 也有一些独特的优点。它支持数据复制和数据完整性,能够在多个节点之间复制数据,确保数据的完整性和一致性。此外,ClickHouse 语法上接近 ANSI SQL

lang830349821的博客 4574

Snowflake 的三层架构

存储与计算分离:彻底解决了传统架构中扩展计算必须同时扩展存储的瓶颈问题,两者可以独立、无限地扩展。极致弹性与扩展性:计算资源(虚拟仓库)可以在几秒钟内弹性伸缩,轻松应对任何规模的工作负载。近乎零管理:所有底层基础设施、软件安装、维护、调优和升级都由 Snowflake 处理,用户只需专注于数据和查询。高性能:自动化的查询优化、列式存储格式和结果缓存确保了卓越的查询性能。并发性与隔离性:多集群虚拟仓库可以自动处理高并发,而独立的虚拟仓库可以隔离不同团队的工作负载,防止相互干扰。真正的按需付费。

weixin_43346403的博客 624

【信息科学与工程学】计算机科学与自动化 第二百三十三篇 凤凰架构01

编号类型领域系统软件/硬件或系统集成方案及系统架构模块子模块函数名称/算法名称算法的数学分析及计算机体系架构及数据结构与算法详细设计及参数列表及数值范围设计关联知识1共识算法分布式基石状态机复制架构:Proposer/Acceptor/Learner 多节点角色模型,基于操作转移(Operation Transfer)分布式共识PaxosPaxos 协议(Prepare/Promise/Accept/Accepted 两阶段)数学基础:多数派(Quorum)投票,基于鸽巢原理保证 W+R>N 时读写集合必有

weixin_49199313的博客 269

ClickHouse与Snowflake集成实践

1. 背景介绍 ClickHouse和Snowflake都是当前非常流行的数据仓库解决方案。ClickHouse是一个开源的列式存储数据库,具有高性能和可扩展性,适用于大规模数据分析。Snowflake是一个云数据仓库,提供了高度可扩展的数据存储和处理能力,适用于企业级数据分析和BI应用。 在实际应用中,很多企业需要将ClickHous

AI天才研究院 402

Snowflake的架构

Snowflake是一种流行的分布式ID生成器,它使用了一种简单而有效的架构来生成全局唯一的ID。Snowflake的架构由ID生成器、时间戳生成器和ID分配器三个关键组件组成,它们协同工作以生成高性能、全局唯一和有序的ID。ID生成器使用位运算和位移来生成ID,时间戳生成器负责生成时间戳部分,而ID分配器负责分配唯一的工作机器ID。Snowflake的架构具有高可用性和可扩展性,并能够灵活地根据需要配置和调整。

网络技术联盟站 738

字节跳动消息队列深度剖析:从BMQ架构到重复消费实战

消息队列作为分布式系统的核心基础设施,承担着解耦、异步、削峰填谷的关键职责。从Kafka到自研BMQ,字节跳动通过存储计算分离架构与EC纠删码技术解决了海量数据下的存储成本与扩展性难题。深入理解Topic、Partition、Consumer Group与Offset机制,是掌握消息队列原理的基础。消息重复消费无法完全避免,需通过幂等设计、手动提交Offset等手段兜底。同时,从嵌入式FreeRTOS消息队列到分布式消息中间件,生产者-消费者模型一脉相承。本文结合字节跳动内部实践,剖析消息队列架构演进、重复

weixin_29061509的博客 222

新一代数据仓库:Snowflake 弹性数仓介绍

本文来自大佬的投稿,作者:张剑。摘要我们生活在分布式计算的黄金时代。公有云平台几乎能够按需提供无限的计算和存储资源。同时,SaaS模型将企业级系统带给了无法负担成本和相关系统复杂性的用户...

过往记忆大数据 5552

MCGS 和 200SMART 时间同步

在实际应用中,PLC经常会因为断电原因,导致时间不准确。假设我们设置了一个投加泵,每天8-18点投加。屏幕上显示的时间和PLC内部的时间,很可能不一样。所以需要在触摸屏上读取PLC的时间,并且提供设置功能。

mmxxoo_xxmmp的博客 1523

QT5.14.2离线安装包保姆级教程:断网、选组件、避坑全记录

本文详细介绍了QT5.14.2离线安装包的完整流程,特别针对Windows平台开发者提供断网安装、组件选择及避坑指南。作为QT5系列中最后一个免费离线版本,5.14.2具有免注册、全组件离线安装等独特优势,是开源开发者的理想选择。文章涵盖从环境准备到安装后配置的全方位指导,帮助开发者高效完成安装并避免常见问题。

weixin_30924087的博客 580

【数据湖仓架构】数据湖和仓库:Databricks 和 Snowflake

是时候将数据分析迁移到云端了。我们比较了 Databricks 和 Snowflake,以评估基于数据湖和基于数据仓库的解决方案之间的差异。在这篇文章中,我们将介绍基于数据仓库和基于数据湖的云大数据解决方案之间的区别。我们通过比较多种云环境中可用的两种流行技术来做到这一点:Databricks 和 Snowflake。正如我们在上一篇文章中了解到的,数据分析平台可以分为多个阶段。上面,我们可以看到...

全网:架构师研究会 1839

数字IC后端项目典型问题之后端实战项目问题记录

数字IC后端培训教程之数字后端实战项目问题debug及解决方案记录

weixin_37584728的博客 1717

最全Snowflake如日中天是否代表Hadoop已死?大数据体系到底是什么?,2024年最新系统学大数据开发从零开始

在实现方法上IceBerg的ACID依托了文件系统POSIX的语义,分区的元数据采用了文件方式存储,同时,IceBerg的Table Format独立于Hive MetaStore的元数据接口,因此在引擎的adoption上成本很高,需要各个引擎改造。随着客户对数据加工处理的一致性(ACID),开放性(多引擎,多数据源),实时性,以及大规模扩展能力的要求越来越高,传统的HMS逐步局限于单集群,单租户,Hive为主的单个企业内部使用,为保障数据的安全可靠,运维成本居高不下。AI已经成为大数据领域的一等公民。

2401_84159688的博客 620

Excel数字变成了小数点+E+17?这些方法帮你解决!

本文介绍了三种解决Excel中数字变成小数点+E+17问题的方法:通过下拉箭头或右键菜单设置单元格格式为文本、使用TEXT函数将科学计数法转换为文本。这些方法各有优缺点,适用于不同的场景和需求。在实际应用中,我们可以根据具体情况选择合适的方法来解决问题。通过以上方法,我们可以轻松地从繁琐的小数点+E+17问题中解脱出来,更便捷地处理Excel中的数字。希望本文能够帮助到您,让您在使用Excel时更加得心应手!

nntxthml的博客 1250

ethercat linux lan9252 - lan9253调试

linux 的ethercat测试

linsheng_111的专栏 1934

Snowflake如日中天是否代表Hadoop已死?大数据体系到底是什么?

在实现方法上IceBerg的ACID依托了文件系统POSIX的语义,分区的元数据采用了文件方式存储,同时,IceBerg的Table Format独立于Hive MetaStore的元数据接口,因此在引擎的adoption上成本很高,需要各个引擎改造。随着客户对数据加工处理的一致性(ACID),开放性(多引擎,多数据源),实时性,以及大规模扩展能力的要求越来越高,传统的HMS逐步局限于单集群,单租户,Hive为主的单个企业内部使用,为保障数据的安全可靠,运维成本居高不下。

2501_90248989的博客 1139

【华为OD机试真题E卷】474、推荐多样性 | 机试真题+思路参考+代码解析(E卷复用)(C++、Java、Py)

题目描述 >推荐多样性需要从多个列表中选择元素,一次性要返回 N 屏数据(窗口数量),每屏展示 K 个元素(窗口大小),选择策略:   各个列表元素需要做穿插处理,即先从第一个列表中为每屏选择一个元素,再从第二个列表中为每屏选择一个元素,依次类推   每个列表的元素尽量均分为 N 份,如果不够 N 个,也要全部分配完,参考样例图:

KJ.JK 4437

集群高并发情况下,通过SnowFlake雪花算法保证生成分布式唯一全局ID

一、需要分布式全局ID的场景 在复杂分布式系统中,往往需要对大量的数据和消息进行唯一标识 如在美团点评的金融、支付、餐饮、酒店;猫眼电影等产品的系统中数据日渐增长,对数据分库分表后需要有一个唯一ID来标识一条数据或消息; 特别一点的如订单、骑手、优惠券也都需要有唯一ID做标识,此时一个能够生成全局唯一ID的系统是非常必要的 二、生成ID的常用解决方案 UUID = ==>>> 存入数据库性能差 数据库自增主键 = ==>>> 适合单机,不适合集群 基于Redis生成全局i

鲜衣怒马楼兰月 4482

OpenMM | PDBFixer 用于蛋白质预处理

PDBFixer 用于蛋白质预处理

DrugOne 3007

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Snowflake 核心技术解读系列一 架构设计

Snowflake取得了巨大的商业成功,技术是如何支撑起它的千亿美元市值呢?它技术强在哪?本文为大家倾情解读Snowflake的核心技术原理。

数据库技术 1175

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

从 Snowflake 到 Databend Cloud:全球游戏平台借助 Databend 实现实时数据处理

导读:某全球游戏平台为全球数百万玩家提供实时的技能型游戏体验与无缝的实时互动。对该游戏平台而言,保持数据的实时更新和实时分析,对提升玩家互动和留存率至关重要。他们在使用 Snowflake 进行实时数据摄取和分析时遇到了重大挑战,且成本居高不下。为了更高效地实现实时数据分析,该平台从 Snowflake 迁移到 Databend Cloud,成本降低了 50%,实现了具有秒级任务支持的实时数据 ELT 过程,提供实时数据洞察。某游戏公司是一家全球游戏平台,擅长为全球数百万玩家提供实时的技能型游戏体验。

Databend的博客 837

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

数据所在,计算随行:Databend 的 2023 年度总结

2023 年是 Databend 为用户和客户全面交付 Data Cloud 数据云平台的一年,真正实现了「数据所在,计算随行」的理念,即将计算力带至数据之处,致力于为用户交付更澎湃的算力。Databend 自 2021 年开始研发,「三年之期已到」,,Databend 会交出怎样的一份答卷呢?让我们一起看看吧。

Databend的博客 966

分布式自增ID算法-Snowflake详解

1、Snowflake简介        互联网快速发展的今天,分布式应用系统已经见怪不怪,在分布式系统中,我们需要各种各样的ID,既然是ID那么必然是要保证全局唯一,除此之外,不同当业务还需要不同的特性,比如像并发巨大的业务要求ID生成效率高,吞吐大;比如某些银行类业务,需要按每日日期制定交易流水号;又比如我们希望用户的ID是随机的,无序的,纯数字的,且位数长度是小于10位的。等等,不同的业务场...

皓晨的架构笔记 7490

微服务架构—Snowflake分布式ID(黑科技)

为什么80%的码农都做不了架构师?>>> ...

weixin_34174422的博客 406

读完云原生数仓领导者Snowflake的论文,想要和你们分享这些……

作者李伟,花名沐远,阿里云数据库高级技术专家。 本文授权转载自公众号「LakeHouse技术」。 论文:“The Snowflake Elastic Data Warehouse” https://event.cwi.nl/lsde/papers/p215-dageville-snowflake.pdf 阅读目的 前段时间看了Snowflake 2020年的论文《Building An Elastic Query Engine on Disaggregated Storage》,主要介绍了 snowfl.

云布道师 1402
上一篇: 如何阅读一份源代码?
下一篇: 一个 C 系程序员的 Rust 初体验
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值