分布式唯一编号生成器

简介

编号的类型为long,每秒每台机器最多产生16384个编号,应该能满足绝大部分场景了,最大支持到2242-03-16 20:56:31。

基本原理

雪花算法,这里不做详细介绍,有兴趣的可以百度了解一下。long类型长段为64位,从高位到地位的分布分别为
在这里插入图片描述

代码实现

import java.net.InetAddress;
import java.net.UnknownHostException;
import java.util.concurrent.BlockingQueue;
import java.util.concurrent.Executors;
import java.util.concurrent.LinkedBlockingQueue;
import java.util.concurrent.ScheduledExecutorService;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.atomic.AtomicLong;

/**
 * @author 杨苏鹤
 * NumberGenerate
 * 分布式唯一编号生成器,通过ip地址的低16位进行区分,所有需要保证集群中机子的ip地址低两位不一样,每秒每台机子最多产生16384个编号,最大可以支持到2242-03-16 20:56:31
 * 64位分布图  从高到低  1 符号位  33 时间戳(秒级) 16 ip地址低两位  14 自增id
 * 2020/1/20 15:06
 */
public class NumberGenerate {
    //用于缓存编号,加快编号的获取速度,同时处理并发访问
    private static BlockingQueue<Long> numberBuffer = new LinkedBlockingQueue();
    private static long ip = 0;
    private static AtomicLong index = new AtomicLong(0);
    private static NumberGenerate numberGenerate = null;
    private static ScheduledExecutorService pool = Executors.newScheduledThreadPool(2);
    private NumberGenerate() {
        try {
            InetAddress address = InetAddress.getLocalHost();
            String[] ipAddress = address.getHostAddress().split("\\.");
            long third = Long.valueOf(ipAddress[2]);
            long forth = Long.valueOf(ipAddress[3]);
            ip = (third*256+forth) << 14;
            //初始化部分编号,防止开始获取报错,总数10000个
            long currentTimeMillis = System.currentTimeMillis()/1000;
            for (int i = 0; i < 10000; i++) {
                long sort = index.getAndIncrement() & 16383;
                long number = currentTimeMillis << 30 | ip | sort;
                numberBuffer.add(number);
            }
            //添加编号生成线程,1秒之后再开始生成,防止和初始编号重复
            for (int i = 0; i < 2; i++) {
                pool.scheduleAtFixedRate(new Worker(),1,1, TimeUnit.SECONDS);
            }
        } catch (UnknownHostException e) {
            e.printStackTrace();
        }
    }

    public static NumberGenerate getInstance(){
        if (numberGenerate == null) {
            numberGenerate = new NumberGenerate();
        }
        return numberGenerate;
    }

    public long getNumber(){
       return numberBuffer.poll();
    }

    public static class Worker implements Runnable{
        @Override
        public void run() {
            //如果当前缓存中有超过20000个编号,直接返回
            if (numberBuffer.size()>20000) return;
            System.out.println(Thread.currentThread().getName()+"开始生成编号");
            //否则生成8192个编号,总共两个线程 8192*2 = 16384
            long currentTimeMillis = System.currentTimeMillis()/1000;
            for (int i = 0; i < 8192; i++) {
                long sort = index.getAndIncrement() & 16383;
                long number = currentTimeMillis << 30 | ip | sort;
                numberBuffer.add(number);
            }
        }
    }

}

使用

这里模拟每100ms需要1000个编号的场景

public class NumberGenerateTest {
    public static void main(String[] args) throws InterruptedException {
        NumberGenerate instance = NumberGenerate.getInstance();
        for (int i = 0; i < 50000; i++) {
            System.out.println("第"+i+"个数字:"+instance.getNumber());
            if (i%1000==0){
                TimeUnit.MILLISECONDS.sleep(100);
            }
        }
    }
}
### 分布式随机ID生成器概述 分布式随机ID生成器旨在解决在高并发环境下快速、高效地生成全局唯一的标识符。这类生成器通常应用于大规模分布式系统中,确保不同节点产生的ID不会冲突。 #### 工作原理 分布式随机ID生成器的工作原理依赖于特定的设计模式和算法来保证唯一性和性能。常见的设计思路包括时间戳、机器码以及序列号的组合使用[^2]。通过这种方式可以有效地减少碰撞概率并提高吞吐量。 #### 实现方案 一种广泛使用的实现方法是基于Twitter提出的雪花(Snowflake)算法。此算法将ID结构划分为多个部分: - **符号位** (1 bit): 表示正负数,默认为0。 - **时间戳**(41 bits): 记录自定义纪元到当前时刻经过了多少毫秒,提供约69年的时间范围。 - **数据中心ID**(5 bits)+**工作者ID**(5 bits): 合计10bits用来区分不同的物理位置和服务实例。 - **序列号**(12 bits): 对应同一毫秒内的顺序流⽔线程编号,支持每毫秒最多⽣成4096个ID[^3]。 ```python import time class SnowFlakeGenerator: def __init__(self, data_center_id, worker_id): self.data_center_id = data_center_id & 0x1F # 数据中心ID最大值为31(即二进制下的'11111') self.worker_id = worker_id & 0x1F # 工作者ID最大值也为31 self.sequence = 0 # 序列号初始化为0 self.last_timestamp = -1 # 上次生成ID的时间戳 def _get_current_time(self): return int(time.time() * 1000) def generate_id(self): current_time = self._get_current_time() if current_time < self.last_timestamp: raise Exception('Clock moved backwards') if current_time == self.last_timestamp: self.sequence = (self.sequence + 1) & 0xFFF if self.sequence == 0: current_time = self.wait_next_millis(self.last_timestamp) else: self.sequence = 0 self.last_timestamp = current_time id_ = ((current_time << 22) | (self.data_center_id << 17) | (self.worker_id << 12) | self.sequence) return id_ def wait_next_millis(self, last_timestamp): timestamp = self._get_current_time() while timestamp <= last_timestamp: timestamp = self._get_current_time() return timestamp ``` 上述Python代码实现了基本版的Snowflake ID生成逻辑。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值