第6章:Snowflake雪花算法实战

分库分表下常见id生成策略

单库下一般使用Mysql自增ID,但是分库分表后,会造成不同分片上的数据表主键会重复。

而我们的需求是需要一个性能强劲,全局唯一,可以防止恶意用户规矩id的规则来获取数据。

业内常见ID解决方案:

  1. 数据库自增ID:利用自增id,设置不同的自增步长,如DB1单数增长,DB2偶数增长。缺点:依靠数据库系统的功能实现,但是未来扩容会很麻烦;主从切换时不一致可能会导致重复发号;性能瓶颈存在单台sql上。
  2. UUID:性能非常高,没有网络消耗。缺点:无序的字符串,不具备趋势自增特性;UUID太长,不易于存储,浪费存储空间,很多场景不适用。
  3. Redis发号器:利用Redis的INCR和INCRBY来实现,原子操作,线程安全,性能比Mysql强劲。缺点:需要占用网络资源,增加系统复杂度。
  4. Snowflask雪花算法:twitter开源的分布式id生成算法,代码实现简单,不占用带宽,数据迁移不受影响;生成的id中包含时间戳,所有生成的id按时间递增;部署了多台服务器,需要保证系统时间一样,机器编号不一样。缺点:依赖系统时钟(多台服务器时间一定要一样)。

分布式ID生成算法Snowflask原理

什么是雪花算法Snowflask:twitter用scala语言编写的搞笑生成唯一ID算法。优点:生成的ID不重复;算法性能高;基于时间戳,基本保证有序递增。

分布式ID生成器中的坑点

全局唯一不重复-坑点

  1. 分布式部署就需要分配不同的workId,如果workId相同,可能会导致生成的id相同。
  2. 分布式情况下,需要保证各个系统时间一致,如果服务器的时钟回拨,就会导致生成的id重复。啥时候会导致系统回拨?人工去生产环境做了时间同步系统时间调整;业务代码里面做了系统时间同步。

首先我们需要配置workId

# 配置workId
spring.shardingsphere.sharding.tables.product_order.key-generator.props.worker.id=1

方法一:订单id使用MP的配置,ProductOrderDO类配置

    @TableId(value = "id",type = IdType.ASSIGN_ID)
    private Long id;

方法二:使用Sharding-jdbc配置文件,注释DO类里面的id分配策略

# id生成策略
spring.shardingsphere.sharding.tables.product_order.key-generator.column=id
spring.shardingsphere.sharding.tables.product_order.key-generator.type=SNOWFLAKE

自定义workId

使用sharding-jdbc中的IP后几位来做workId,但是在某些情况下会出现重复ID的问题。解决方法:我们可以在启动时给每个服务分配不同的workId,引入redis/zk都行,缺点就是多了依赖。还可以在启动程序的时候,通过JVM参数去控制,覆盖变量。

public class SnowFlakeWordIdConfig {

    public static void main(String[] args) {
        Inet4Address ip4 = null;
        try {
            ip4 = (Inet4Address) Inet4Address.getLocalHost();
        } catch (Exception e) {
            e.printStackTrace();
        }
        System.out.println(ip4.getHostAddress());
        System.out.println(ip4.getAddress());

    }
}

通过查看上面的ip地址后,我们可以将ip和主机名放到系统的环境变量中。这样就可以尽可能避免workId重复。

public class SnowFlakeWordIdConfig {

    static {
        try {
            Inet4Address ip4 = (Inet4Address) Inet4Address.getLocalHost();
            String ip = ip4.getHostAddress();
            String workId = Math.abs(ip.hashCode()) % 1024 + "";
            System.setProperty("workId", workId);
        }catch (Exception e){
            e.printStackTrace();
        }
    }
}

修改配置文件的信息

spring.shardingsphere.sharding.tables.product_order.key-generator.column=${workId}

雪花算法时间回拨问题

我们需要在用户注册的时候生成的user_id需要时Long类型的且全局唯一。

我们使用Sharding-JDBC封装Id生成器

public class IDUtil {

    private static SnowflakeShardingKeyGenerator snowflakeShardingKeyGenerator = new SnowflakeShardingKeyGenerator();

    /**
     * 雪花算法生成器
     */
    public static  Comparable<?> geneSnowFlakeId(){
        return snowflakeShardingKeyGenerator.generateKey();
    }
}
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值