分布式唯一ID方案

本文讨论了在分布式系统中如何生成全局唯一、趋势递增且安全的ID,介绍了UUID、Redis原子自增、Snowflake算法以及MongoObjectId的优缺点,同时提到了美团Leaf算法和时钟同步问题的解决方案。

背景

  在复杂的分布式系统中,往往需要对大量的数据和消息进行唯一标识。

  如对大量的订单做分库分表后,需要有一个唯一的ID来标识一条数据或消息,数据库的自增ID显然不能满足需求。

  

  业务系统对分布式唯一ID的要求:

    ①:全局唯一性,不能重复

    ②:趋势递增,在MySQL InnoDB引擎中使用的是聚集索引,由于多数RDMS使用B-tree的数据结构来存储索引数据,在主键的选择上面应该尽量使用有序的主键保证写入性能

    ③:单调递增,保证下一个ID一定大于上一个ID

    ④:信息安全,如果ID是连续的,恶意用户的扒取工作就非常容易做了,直接按照顺序下载指定URL即可;如果是订单号就更危险了,竞对可以直接知道我们一天的单量。所以在一些应用场景下,会需要ID无规则、不规则

常用方案

 1、UUID

  优点:生成简单,本地生成,没有网络消耗,性能非常高

  缺点:

    1)每次生成的ID是无序的,无法保证趋势递增,不能作为数据库主键,否则会引起索引数据位置频繁变动,严重影响性能

    2)UUID的字符串存储,查询效率慢

    3)存储空间大

    4)ID本身无业务含义,不可读
    

 2、Redis 

  利用redis的原子性自增,具体实现为:

  年份 + 当天距当年第多少天 + 天数 + 小时 + redis自增

  优点:

    有序递增,可读性强
  缺点:

    占用带宽,每次要向redis进行请求

 3、雪花snowflake算法

  snowflake是Twitter开源的分布式ID生成算法,结果是一个long型的ID。

  其核心思想是:使用41bit作为毫秒数,10bit作为work ID(5个bit是数据中心,5个bit的机器ID),12bit作为毫秒内的流水号(意味着每个节点在每毫秒可以产生 4096 个 ID),最后还有一个符号位,永远是0。

  snowflake算法生成64位的二进制正整数,然后转换成10进制的数。

  64位二进制数组成部分如下:

     

  优点:

    1)此方案每秒能够产生409.6万个ID,性能快

    2)时间戳在高位,自增序列在低位,整个ID是趋势递增的,按照时间有序递增

    3)灵活度高,可以根据业务需求,调整bit位的划分,满足不同的需求

  缺点:

    只能保证work id相同的情况下生成的id是递增的

    依赖机器的时钟,如果服务器时钟回拨,会导致重复ID生成  

  时钟回拨问题的解决方案:

    1)回拨之后更换work id

    2)等时间追上来再去生成id

  

  Mongo的ObjectId与snowflake类似,12 字节的ObjectId包括:

    一个 4 字节的时间戳,表示 ObjectId 的创建,以 Unix 纪元以来的秒数为单位。
    每个进程生成一次的 5 字节随机值。这个随机值对于机器和过程是唯一的。
    一个 3 字节递增计数器,初始化为随机值

 4、美团Leaf

 https://tech.meituan.com/2017/04

<think>嗯,用户让我介绍分布式ID生成方案。我需要先理清楚分布式ID生成的基本概念和常见方法。首先,分布式系统中生成唯一ID的挑战是什么?传统的自增ID在单机数据库中可以保证唯一,但在分布式环境下,多节点同时生成ID时会有冲突的可能,所以需要一种分布式的解决方案。 接下来,常见的方案有哪些呢?我记得有UUID、数据库自增、Snowflake算法、Redis生成,还有像Leaf这样的开源项目。需要逐一分析它们的优缺点。比如UUID虽然简单,但过长且无序,可能影响数据库索引效率。数据库自增需要维护一个中央数据库,可能成为单点故障,性能也有瓶颈。Snowflake算法利用时间戳、机器ID和序列号,生成有序的ID,但机器ID的分配和管理需要额外处理。 然后,用户可能需要了解每个方案的具体实现细节。比如Snowflake的结构,时间戳占多少位,机器ID如何分配,序列号的作用是什么。还有可能遇到的问题,比如时钟回拨对Snowflake的影响,以及如何解决这个问题,比如使用NTP同步或者预留位处理。 另外,用户可能关心不同方案的优缺点比较,以及适用场景。比如高并发下哪种方案更合适,是否需要趋势递增的特性,对存储空间的要求等等。可能需要举例说明,比如订单ID、日志跟踪等不同场景下的选择。 还要注意用户可能对某些技术细节不太清楚,需要用通俗易懂的语言解释,避免使用过多专业术语。同时,结构要清晰,分点说明,方便用户理解。比如分方案介绍,每个方案的结构、流程、优缺点,最后总结对比。 最后,是否需要提到一些新的方案或者变种,比如改进版的Snowflake,或者结合数据库和缓存的方案,如Leaf-segment和Leaf-snowflake。可能还要提到第三方服务如美团的Leaf,百度的UidGenerator,避免重复造轮子。 需要检查是否符合用户给的系统级指令,比如数学公式是否正确用$包裹,独立公式用$$,中文回答,结构清晰。同时确保LaTeX语法正确,比如时间戳、机器ID和序列号的位数表示是否正确,使用等宽字体或者代码块显示可能更好,但用户要求用LaTeX的话,需要用数学公式格式。 总结思考步骤:先介绍分布式ID的需求和挑战,再分点讲解各方案的结构、流程、优缺点,最后对比总结,给出选型建议。确保每个部分都符合用户的格式要求,正确使用LaTeX,结构清晰。</think>以下是分布式ID生成方案的详细介绍,按常见方案分类说明: ### 一、需求背景 在分布式系统中,需要满足: 1. 全局唯一性 2. 趋势递增(利于数据库索引) 3. 高可用(QPS 10万+) 4. 可控制暴露信息(如避免连续数字暴露订单量) ### 二、常见方案对比 | 方案 | 优点 | 缺点 | |--------------------|-----------------------------|-----------------------------| | UUID | 简单、无中心化 | 无序、存储空间大(36字符) | | 数据库自增 | 绝对有序、易实现 | 存在单点故障风险、扩展性差 | | Snowflake | 高性能、可排序 | 依赖时钟、需管理机器ID | | Redis生成 | 高性能、可定制 | 依赖额外组件、维护成本高 | | Leaf-segment | 缓冲优化、高可用 | 需维护DB、存在号码段浪费 | ### 三、核心方案详解 #### 1. UUID $$ UUID示例:550e8400-e29b-41d4-a716-446655440000 $$ - 生成方式:标准RFC规范生成128位数字 - 缺点:无序性导致索引效率下降(B+树分裂) #### 2. 数据库自增 ```sql CREATE TABLE id_generator ( id int NOT NULL AUTO_INCREMENT, stub char(1) NOT NULL DEFAULT '', PRIMARY KEY (id), UNIQUE KEY stub (stub) ) ``` - 通过REPLACE INTO获取ID - 改进方案:多实例设置不同步长 $$ ID = n \times k + m $$ (n为实例数,k为步长,m为实例偏移量) #### 3. Snowflake算法 $$ ID = 时间戳 \times 2^{22} + 机器ID \times 2^{12} + 序列号 $$ - 位分配(64位): - 时间戳:41位(约69年) - 机器ID:10位(1024节点) - 序列号:12位(4096/ms) - 时钟回拨解决方案: - 物理时钟+逻辑时钟混合 - 故障时切换备用ID生成器 #### 4. Leaf方案(美团) **4.1 Leaf-segment** ```plantuml 客户端 -> Proxy: 获取ID段 Proxy -> DB: 更新max_id DB -> Proxy: 返回新号段 Proxy -> 客户端: 分配号段 ``` - 双Buffer优化:提前加载下一个号段 **4.2 Leaf-snowflake** - 改进点: - 使用ZK分配workerID - 时钟同步校验 - 异常时降级为号段模式 ### 四、选型建议 | 场景 | 推荐方案 | |----------------------|---------------------| | 中小型系统 | 改进版数据库自增 | | 高并发互联网业务 | Snowflake/Leaf | | 非结构化数据标识 | UUIDv4 | | 高可用性要求 | Redis集群+ Lua脚本 | ### 五、特殊场景处理 1. **环形缓冲区**:提前生成ID池应对突发流量 2. **业务标识嵌入**: $$ ID = 业务码 \times 10^n + 分布式ID $$ 3. **跨机房方案**:在机器ID中分配3位机房标识 ### 六、性能指标参考 - Snowflake单机吞吐量:约400万ID/秒 - Leaf-segment性能:1.2万QPS(号段长度1000) - Redis集群:可达10万+ QPS 建议根据实际业务规模选择方案,大型系统推荐优先考虑Snowflake及其改进方案
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值