分库分表下常见id生成策略
单库下一般使用Mysql自增ID,但是分库分表后,会造成不同分片上的数据表主键会重复。
而我们的需求是需要一个性能强劲,全局唯一,可以防止恶意用户规矩id的规则来获取数据。
业内常见ID解决方案:
- 数据库自增ID:利用自增id,设置不同的自增步长,如DB1单数增长,DB2偶数增长。缺点:依靠数据库系统的功能实现,但是未来扩容会很麻烦;主从切换时不一致可能会导致重复发号;性能瓶颈存在单台sql上。
- UUID:性能非常高,没有网络消耗。缺点:无序的字符串,不具备趋势自增特性;UUID太长,不易于存储,浪费存储空间,很多场景不适用。
- Redis发号器:利用Redis的INCR和INCRBY来实现,原子操作,线程安全,性能比Mysql强劲。缺点:需要占用网络资源,增加系统复杂度。
- Snowflask雪花算法:twitter开源的分布式id生成算法,代码实现简单,不占用带宽,数据迁移不受影响;生成的id中包含时间戳,所有生成的id按时间递增;部署了多台服务器,需要保证系统时间一样,机器编号不一样。缺点:依赖系统时钟(多台服务器时间一定要一样)。
分布式ID生成算法Snowflask原理
什么是雪花算法Snowflask:twitter用scala语言编写的搞笑生成唯一ID算法。优点:生成的ID不重复;算法性能高;基于时间戳,基本保证有序递增。

分布式ID生成器中的坑点
全局唯一不重复-坑点
- 分布式部署就需要分配不同的workId,如果workId相同,可能会导致生成的id相同。
- 分布式情况下,需要保证各个系统时间一致,如果服务器的时钟回拨,就会导致生成的id重复。啥时候会导致系统回拨?人工去生产环境做了时间同步系统时间调整;业务代码里面做了系统时间同步。
首先我们需要配置workId
# 配置workId
spring.shardingsphere.sharding.tables.product_order.key-generator.props.worker.id=1
方法一:订单id使用MP的配置,ProductOrderDO类配置
@TableId(value = "id",type = IdType.ASSIGN_ID)
private Long id;
方法二:使用Sharding-jdbc配置文件,注释DO类里面的id分配策略
# id生成策略
spring.shardingsphere.sharding.tables.product_order.key-generator.column=id
spring.shardingsphere.sharding.tables.product_order.key-generator.type=SNOWFLAKE
自定义workId
使用sharding-jdbc中的IP后几位来做workId,但是在某些情况下会出现重复ID的问题。解决方法:我们可以在启动时给每个服务分配不同的workId,引入redis/zk都行,缺点就是多了依赖。还可以在启动程序的时候,通过JVM参数去控制,覆盖变量。
public class SnowFlakeWordIdConfig {
public static void main(String[] args) {
Inet4Address ip4 = null;
try {
ip4 = (Inet4Address) Inet4Address.getLocalHost();
} catch (Exception e) {
e.printStackTrace();
}
System.out.println(ip4.getHostAddress());
System.out.println(ip4.getAddress());
}
}

通过查看上面的ip地址后,我们可以将ip和主机名放到系统的环境变量中。这样就可以尽可能避免workId重复。
public class SnowFlakeWordIdConfig {
static {
try {
Inet4Address ip4 = (Inet4Address) Inet4Address.getLocalHost();
String ip = ip4.getHostAddress();
String workId = Math.abs(ip.hashCode()) % 1024 + "";
System.setProperty("workId", workId);
}catch (Exception e){
e.printStackTrace();
}
}
}
修改配置文件的信息
spring.shardingsphere.sharding.tables.product_order.key-generator.column=${workId}
雪花算法时间回拨问题

我们需要在用户注册的时候生成的user_id需要时Long类型的且全局唯一。
我们使用Sharding-JDBC封装Id生成器
public class IDUtil {
private static SnowflakeShardingKeyGenerator snowflakeShardingKeyGenerator = new SnowflakeShardingKeyGenerator();
/**
* 雪花算法生成器
*/
public static Comparable<?> geneSnowFlakeId(){
return snowflakeShardingKeyGenerator.generateKey();
}
}

3301

被折叠的 条评论
为什么被折叠?



