SnowFlake算法

博客介绍了分布式环境下生成全局唯一ID的三种方式,包括UUID、数据库主键自增和SnowFlake算法。详细阐述了SnowFlake算法的存储结构、代码实现注意点,以及该算法的优缺点,如高性能高可用但依赖系统时钟一致性。

分布式环境下生成全剧唯一的ID的方式:

一、UUID

生成比较简单,能保证全局唯一性;但是生成的是无序的ID序列,作为主键ID性能较差(无法使用索引)

二、数据库主键自增

可以根据数据库的自增来实现,分布式系统可以为多个数据库节点设置自增步长保证全局唯一;但是这样需要依赖数据库,不但性能较差而且数据库挂掉会导致服务不可用

id feild //数据库字段

35 a     //用于获取自增ID的记录

//通过下面的语句可以获取自增长的ID

begin;

REPLACE INTO table ( feild ) VALUES ( 'a' );

SELECT LAST_INSERT_ID();

commit; 

三、使用SnowFlake算法

存储结构:

总共分四部分:

1、第一位:占用1bit,没实际作用

2、时间戳:占41bit,精确到毫秒,总共可以容纳约69年时间

3、工作机器id:占10bit,高5位是数据中心id(datacenterId),低5位是工作节点id(workId),最多可以容纳1024个节点

4、序列号:占用12bit,这个值在同一毫秒同一节点上从0开始不断累加,最多可以累加到4095

SnowFlake算法在一毫秒内最多可以生成1024*4096=4194304个全局唯一ID

代码实现:

//初始时间截 (2017-01-01)
private static final long INITIAL_TIME_STAMP = 1483200000000L;

//机器id所占的位数
private static final long WORKER_ID_BITS = 5L;

//数据标识id所占的位数
private static final long DATACENTER_ID_BITS = 5L;

//支持的最大机器id,结果是31 (这个移位算法可以很快的计算出几位二进制数所能表示的最大十进制数)
private static final long MAX_WORKER_ID = ~(-1L << WORKER_ID_BITS);

//支持的最大数据标识id,结果是31
private static final long MAX_DATACENTER_ID = ~(-1L << DATACENTER_ID_BITS);

//序列在id中占的位数
private final long SEQUENCE_BITS = 12L;

//机器ID的偏移量(12)
private final long WORKERID_OFFSET = SEQUENCE_BITS;

//数据中心ID的偏移量(12+5)
private final long DATACENTERID_OFFSET = SEQUENCE_BITS + SEQUENCE_BITS;

//时间截的偏移量(5+5+12)
private final long TIMESTAMP_OFFSET = SEQUENCE_BITS + WORKER_ID_BITS + DATACENTER_ID_BITS;

//生成序列的掩码,这里为4095 (0b111111111111=0xfff=4095)
private final long SEQUENCE_MASK = ~(-1L << SEQUENCE_BITS);

//工作节点ID(0~31)
private long workerId;

//数据中心ID(0~31)
private long datacenterId;

//毫秒内序列(0~4095)
private long sequence = 0L;

//上次生成ID的时间截
private long lastTimestamp = -1L;


/**
* 构造函数
*
* @param workerId 工作ID (0~31)
* @param datacenterId 数据中心ID (0~31)
*/
public SnowFlakeIdGenerator(long workerId, long datacenterId) {
    if (workerId > MAX_WORKER_ID || workerId < 0) {
        throw new IllegalArgumentException(String.format("WorkerID 不能大于 %d 或小于 0", MAX_WORKER_ID));
    }
    if (datacenterId > MAX_DATACENTER_ID || datacenterId < 0) {
        throw new IllegalArgumentException(String.format("DataCenterID 不能大于 %d 或小于 0", MAX_DATACENTER_ID));
    }
    this.workerId = workerId;
    this.datacenterId = datacenterId;
}


/**
* 获得下一个ID (用同步锁保证线程安全)
*
* @return SnowflakeId
*/
public synchronized long nextId() {
    long timestamp = System.currentTimeMillis();
    //如果当前时间小于上一次ID生成的时间戳,说明系统时钟回退过这个时候应当抛出异常
    if (timestamp < lastTimestamp) {
        throw new RuntimeException("当前时间小于上一次记录的时间戳!");
    }
    //如果是同一时间生成的,则进行毫秒内序列
    if (lastTimestamp == timestamp) {
        sequence = (sequence + 1) & SEQUENCE_MASK;
        //sequence等于0说明毫秒内序列已经增长到最大值
        if (sequence == 0) {
            //阻塞到下一个毫秒,获得新的时间戳
            timestamp = tilNextMillis(lastTimestamp);
        }
    }
    //时间戳改变,毫秒内序列重置
    else {
        sequence = 0L;
    }
    //上次生成ID的时间截
    lastTimestamp = timestamp;
    //移位并通过或运算拼到一起组成64位的ID
    return ((timestamp - INITIAL_TIME_STAMP) << TIMESTAMP_OFFSET) | (datacenterId << DATACENTERID_OFFSET) | (workerId << WORKERID_OFFSET) | sequence;
}


/**
* 阻塞到下一个毫秒,直到获得新的时间戳
*
* @param lastTimestamp 上次生成ID的时间截
* @return 当前时间戳
*/
protected long tilNextMillis(long lastTimestamp) {
    long timestamp = System.currentTimeMillis();
    while (timestamp <= lastTimestamp) {
        timestamp = System.currentTimeMillis();
    }
    return timestamp;
}


public static void main(String[] args) {
    final SnowFlakeIdGenerator idGenerator = new SnowFlakeIdGenerator(1, 1);
    //线程池并行执行10000次ID生成
    ExecutorService executorService = Executors.newCachedThreadPool();;
    for (int i = 0; i < 10000; i++) {
        executorService.execute(new Runnable() {
            @Override
            public void run() {
                long id = idGenerator.nextId();
                System.out.println(id);
            }
        });
    }
    executorService.shutdown();
}

有几点注意:

1.获得单一机器的下一个序列号,使用Synchronized控制并发,而非CAS的方式,是因为CAS不适合并发量非常高的场景。

2.如果当前毫秒在一台机器的序列号已经增长到最大值4095,则使用while循环等待直到下一毫秒。

3.如果当前时间小于记录的上一个毫秒值,则说明这台机器的时间回拨了,抛出异常。但如果这台机器的系统时间在启动之前回拨过,那么有可能出现ID重复的危险

SnowFlake算法的优点:

1.生成ID时不依赖于DB,完全在内存生成,高性能高可用。

2.ID呈趋势递增,后续插入索引树的时候性能较好。

SnowFlake算法的缺点:

依赖于系统时钟的一致性。如果某台机器的系统时钟回拨,有可能造成ID冲突,或者ID乱序。

<think>我们正在讨论Snowflake算法的实现用途。根据引用内容,Snowflake算法是Twitter开源的一种分布式ID生成方案,它生成的是一个64位的整数,通常称为雪花ID。这个ID由时间戳、机器ID(或数据中心ID)序列号组成。###Snowflake算法原理Snowflake算法的核心思想是将一个64位的整数分成几个部分:1.**符号位(1位)**:始终为0,表示正数。2.**时间戳(41位)**:记录生成ID的时间戳(毫秒级),通常是从一个自定义的起始时间(称为epoch)开始计算的。41位的时间戳可以使用大约69年(因为$2^{41}\approx2.2e12$毫秒,约等于69年)。3.**数据中心ID(5位)**:可以表示最多$2^5=32$个数据中心。4.**机器ID(5位)**:每个数据中心内可以表示最多$2^5=32$台机器。5.**序列号(12位)**:同一机器同一毫秒内生成的序列号,每毫秒可以生成$2^{12}=4096$个唯一ID。因此,整个ID的结构可以用以下方式表示:$$ID=(timestamp\ll22)|(datacenter\_id\ll17)|(worker\_id\ll12)|sequence$$###实现步骤1.**确定起始时间戳(epoch)**:一般设置为系统开始使用的时间,比如`2020-01-0100:00:00`。2.**获取当前时间戳**:计算当前时间与起始时间戳的差值(毫秒)。3.**处理同一毫秒内的并发**:如果同一毫秒内生成多个ID,则递增序列号(序列号范围0~4095)。如果序列号用尽,则等待至下一毫秒。4.**处理时钟回拨**:如果检测到当前时间小于上一次生成ID的时间(即时钟回拨),则需要采取策略,如等待或抛出异常。###代码实现(简化版)以下是一个简化版的Snowflake算法实现(使用Python):```pythonimporttimeclassSnowflake:def__init__(self,datacenter_id,worker_id,epoch=1577836800000):#epoch:2020-01-01self.datacenter_id=datacenter_idself.worker_id=worker_idself.epoch=epochself.sequence=0self.last_timestamp=-1def_current_time(self):returnint(time.time()*1000)-self.epochdefnext_id(self):timestamp=self._current_time()iftimestamp<self.last_timestamp:raiseException("Clockmovedbackwards!")iftimestamp==self.last_timestamp:self.sequence=(self.sequence+1)&0xFFF#12位序列号,最大4095ifself.sequence==0:#当前毫秒序列号用完,等待下一毫秒whiletimestamp<=self.last_timestamp:timestamp=self._current_time()else:self.sequence=0self.last_timestamp=timestamp#组合各部分return(timestamp<<22)|(self.datacenter_id<<17)|(self.worker_id<<12)|self.sequence```###用途Snowflake算法主要用于分布式系统中生成全局唯一的ID,具有以下特点:-**趋势递增**:由于时间戳在高位,生成的ID整体上是递增的,有利于数据库索引。-**高性能**:本地生成,不需要网络开销。-**可排序**:ID按时间顺序生成。-**避免中心化依赖**:不像数据库自增ID或Redis自增那样依赖中心化的服务。###注意事项-**时钟回拨**:由于依赖机器时钟,如果时钟回拨(例如NTP同步导致时间回调),可能导致生成的ID重复。因此需要处理时钟回拨问题(如等待时钟追回或使用备用时钟)。-**机器ID分配**:需要确保数据中心ID机器ID在分布式系统中是唯一的,通常通过配置中心或环境变量分配。###相关问题§§相关问题§§1.如何解决Snowflake算法中的时钟回拨问题?2.Snowflake算法中的数据中心ID机器ID如何分配才能保证全局唯一?3.Snowflake算法与其他分布式ID生成算法(如UUID、数据库自增ID)相比有什么优缺点?4.在实际项目中,如何测试Snowflake算法的性能唯一性?</think>### Snowflake算法详解 #### 算法原理 Snowflake算法是Twitter开源的分布式ID生成方案,核心原理是将64位整数划分为4个部分: $$ID = \underbrace{\text{符号位}}_{1位} \| \underbrace{\text{时间戳}}_{41位} \| \underbrace{\text{数据中心ID}}_{5位} \| \underbrace{\text{机器ID}}_{5位} \| \underbrace{\text{序列号}}_{12位}$$ 1. **时间戳(41位)** 记录生成ID时的毫秒级时间,从自定义起始时间(epoch)计算。最大可表示时间范围: $$T_{max} = \frac{2^{41}}{1000 \times 60 \times 60 \times 24 \times 365} \approx 69年$$ 例如起始时间设为2020-01-01,可用至2089年。 2. **数据中心ID + 机器ID(各5位)** 支持$2^{10}=1024$台机器($2^5 \times 2^5$),需人工配置确保全局唯一。 3. **序列号(12位)** 同一毫秒内的自增序号,每毫秒可生成$2^{12}=4096$个ID。 #### 核心优势 1. **趋势递增**:时间戳高位保证ID有序性,利于数据库索引 2. **高吞吐量**:单机每秒可生成26万ID(理论极限4096/ms) 3. **去中心化**:无需网络请求,本地生成ID 4. **低碰撞率**:通过时间戳+机器ID+序列号三重保障唯一性 #### 关键实现 ```python import time class Snowflake: def __init__(self, datacenter_id, worker_id, epoch=1577836800000): # epoch=2020-01-01 self.datacenter_id = datacenter_id self.worker_id = worker_id self.epoch = epoch self.sequence = 0 self.last_timestamp = -1 def next_id(self): timestamp = self._current_ms() # 时钟回拨处理 if timestamp < self.last_timestamp: raise Exception("Clock moved backwards!") # 同一毫秒内生成 if timestamp == self.last_timestamp: self.sequence = (self.sequence + 1) & 0xFFF # 12位序列号 if self.sequence == 0: # 当前毫秒序列号耗尽 timestamp = self._wait_next_ms(self.last_timestamp) else: self.sequence = 0 self.last_timestamp = timestamp # 组合ID (64位) return ((timestamp - self.epoch) << 22) | \ (self.datacenter_id << 17) | \ (self.worker_id << 12) | \ self.sequence def _current_ms(self): return int(time.time() * 1000) def _wait_next_ms(self, last): current = self._current_ms() while current <= last: current = self._current_ms() return current ``` #### 典型应用场景 1. **分布式数据库主键**:MySQL分库分表时的全局唯一ID 2. **消息队列消息ID**:Kafka/RabbitMQ的消息标识 3. **订单号生成**:电商系统保证订单号全网唯一 4. **日志追踪ID**:微服务架构中的请求链路追踪 #### 时钟回拨问题解决方案 1. **短暂回拨**:等待时钟同步(如NTP服务完成校准) 2. **严重回拨**: - 启用备用ID生成器(如数据库序列) - 扩展时间戳存储位(如百度uid-generator方案) - 记录最后生成时间戳,拒绝服务直到时钟恢复 > 美团Leaf方案对Snowflake改进:将序列号前置为时间差序列,支持更高并发[^4]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值