分布式主键策略解析

最新推荐文章于 2025-08-18 02:07:37 发布
原创 最新推荐文章于 2025-08-18 02:07:37 发布 · 246 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Distributed Database # Primary Key # Database Design

📕我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）、《解密程序员的思维密码——沟通、演讲、思考的实践》作者、清华大学出版社签约作家、Java领域优质创作者、优快云博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。

📘拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、SpringBoot、SpringMVC、SpringCloud、Mybatis、Dubbo、Zookeeper)，消息中间件底层架构原理(RabbitMQ、RocketMQ、Kafka)、Redis缓存、MySQL关系型数据库、 ElasticSearch全文搜索、MongoDB非关系型数据库、Apache ShardingSphere分库分表读写分离、设计模式、领域驱动DDD、Kubernetes容器编排等。

📙不定期分享高并发、高可用、高性能、微服务、分布式、海量数据、性能调优、云原生、项目管理、产品思维、技术选型、架构设计、求职面试、副业思维、个人成长等内容。

Java程序员廖志伟

💡在这个美好的时刻，笔者不再啰嗦废话，现在毫不拖延地进入文章所要讨论的主题。接下来，我将为大家呈现正文内容。

优快云

🌟 分布式主键详解

🍊 分布式数据库与主键

🎉 分布式数据库概述

分布式数据库是一种将数据分散存储在多个物理位置上的数据库系统，通过网络连接实现数据的共享和访问。它通过分散存储和分布式处理，提供了更高的可用性、可扩展性和性能，从而能够满足大规模数据存储和处理的业务需求。

🎉 主键在分布式数据库中的重要性

在分布式数据库环境中，主键扮演着至关重要的角色。它不仅用于唯一标识每条记录，而且还是确保数据一致性和完整性的基石。因此，选择一个合适的主键生成策略对于分布式数据库系统的稳定运行至关重要。

🍊 分布式主键的定义与作用

🎉 分布式主键定义

分布式主键是指在分布式系统中，每条数据记录都必须拥有一个全局唯一的主键。这种主键的存在确保了即使在多个节点同时访问和操作同一数据表的情况下，每条记录也能被唯一地识别和区分。

🎉 分布式主键的作用

  1. 保证数据唯一性：通过全局唯一的主键，防止数据记录的重复，确保每条记录都能被准确识别。
  2. 提高系统扩展性：支持分布式数据库的横向扩展，使得系统能够适应更多节点和更大规模的数据。
  3. 优化查询性能：通过主键索引，提升查询效率，加快数据检索速度，从而提高整体系统性能。

🍊 分布式主键生成策略

🎉 基于时间戳

技术原理：通过结合时间戳和序列号来生成唯一ID。 应用场景：适用于高并发场景。 优势与局限：生成速度快，易于实现；但可能受到时间回拨的影响。 实际案例：MySQL自增ID。

🎉 基于数学算法

技术原理：利用特定的数学算法生成唯一ID。 应用场景：适用于高并发场景。 优势与局限：生成速度快，易于实现；但可能存在算法复杂度较高的问题。 实际案例：UUID。

🎉 基于数据库

技术原理：利用数据库自增ID生成唯一ID。 应用场景：适用于低并发场景。 优势与局限：生成速度慢，不易扩展。 实际案例：MySQL序列。

🎉 基于第三方服务

技术原理：利用第三方服务生成唯一ID。 应用场景：适用于高并发场景。 优势与局限：生成速度快，易于实现；但可能存在依赖第三方服务的问题。 实际案例：Redis。

🎉 代码生成

技术原理：通过代码生成器生成主键。 应用场景：适用于高并发场景。 优势与局限：生成速度快，易于实现；但可能存在代码生成器配置复杂的问题。 实际案例：MyBatis Generator。

🎉 配置管理

技术原理：通过配置文件或配置中心管理主键生成策略。 应用场景：适用于高并发场景。 优势与局限：管理方便，易于扩展；但可能存在配置文件维护复杂的问题。 实际案例：Spring Cloud Config。

🎉 性能优化

技术原理：利用缓存或异步生成主键。 应用场景：适用于高并发场景。 优势与局限：生成速度快，降低数据库压力；但可能存在缓存失效等问题。 实际案例：Redis。

🎉 安全性

技术原理：通过数据加密和访问控制保证主键安全性。 应用场景：适用于高并发场景。 优势与局限：安全性高，易于实现；但可能存在加密算法选择复杂的问题。 实际案例：Spring Security。

🎉 兼容性

技术原理：与现有系统集成，支持跨语言。 应用场景：适用于高并发场景。 优势与局限：兼容性好，易于实现；但可能存在系统集成复杂的问题。 实际案例：Dubbo。

🍊 ShardingSphere 分布式主键

🎉 分布式主键概述

在分布式系统中，每条数据记录都需要一个全局唯一的主键，这种主键被称为分布式主键。它确保了即使在多个节点同时操作同一数据表的情况下，每条记录也能被唯一标识。

🎉 分布式主键作用

  1. 保证数据唯一性：防止数据重复，确保每条记录都能被唯一识别。
  2. 提高系统扩展性：支持分布式数据库的横向扩展，适应更多节点和更大规模的数据。
  3. 优化查询性能：通过主键索引，提升查询效率，加快数据检索速度。

🎉 分布式主键类型

  1. 自增主键：数据库自动生成，如MySQL的AUTO_INCREMENT。
  2. UUID主键：基于UUID算法生成，具有全局唯一性。
  3. Snowflake主键：基于Twitter的Snowflake算法生成，具有高性能和可扩展性。
  4. Redis主键：利用Redis的原子操作生成主键。
  5. Zookeeper主键：利用Zookeeper的分布式锁生成主键。
  6. Consistent Hashing主键：基于一致性哈希算法生成主键。

🎉 ShardingSphere 主键生成器

ShardingSphere提供了多种主键生成器，包括UUID、Snowflake、Twitter-Specific ID等，以满足不同场景下的需求。

🎉 ShardingSphere 主键生成策略配置

在ShardingSphere配置文件中，可以配置主键生成策略，例如：

shardingRule:
  tables:
    t_order:
      keyGenerator:
        type: SNOWFLAKE
        props:
          workerId: 1

🎉 ShardingSphere 主键生成器插件

ShardingSphere支持自定义主键生成器插件，方便用户根据实际需求进行扩展。

🍊 分布式主键应用场景

🎉 分布式数据库

分布式数据库需要分布式主键来保证数据唯一性。

🎉 分布式缓存

分布式缓存需要分布式主键来保证缓存数据的唯一性。

🎉 分布式消息队列

分布式消息队列需要分布式主键来保证消息的唯一性。

🍊 分布式主键性能优化

🎉 主键生成效率

选择合适的主键生成策略，如Snowflake、Redis等，可以提高主键生成效率。

🎉 系统稳定性

保证主键生成器的稳定性，避免因主键生成器故障导致数据重复。

🎉 资源消耗

合理配置主键生成策略，避免资源消耗过大。

🍊 分布式主键常见问题

🎉 主键冲突

选择合适的主键生成策略，避免主键冲突。

🎉 主键生成延迟

优化主键生成策略，提高主键生成效率。

🎉 主键生成器故障

保证主键生成器的稳定性，避免因主键生成器故障导致数据重复。

🍊 分布式主键与数据库设计

🎉 主键选择

根据业务需求选择合适的主键类型，如自增主键、UUID主键等。

🎉 主键长度

主键长度不宜过长，避免影响查询性能。

🎉 主键索引

合理配置主键索引，提高查询效率。

🍊 分布式主键与业务系统集成

🎉 业务系统适配

根据业务需求，适配分布式主键生成策略。

🎉 异常处理

处理主键生成过程中的异常，保证系统稳定性。

🎉 性能监控

监控主键生成性能，及时发现并解决问题。

策略类型优势局限应用场景
基于时间戳生成速度快，易于实现可能存在时间回拨问题高并发场景
基于数学算法生成速度快，易于实现算法复杂度可能较高高并发场景
基于数据库生成速度慢，不易扩展适用于低并发场景低并发场景
基于第三方服务生成速度快，易于实现依赖第三方服务高并发场景
代码生成生成速度快，易于实现代码生成器配置复杂高并发场景
配置管理管理方便，易于扩展配置文件维护复杂高并发场景
性能优化生成速度快，降低数据库压力可能存在缓存失效问题高并发场景
安全性安全性高，易于实现加密算法选择复杂高并发场景
兼容性兼容性好，易于实现系统集成复杂高并发场景

优快云

博主分享

📥博主的人生感悟和目标

Java程序员廖志伟

📙经过多年在优快云创作上千篇文章的经验积累，我已经拥有了不错的写作技巧。同时，我还与清华大学出版社签下了四本书籍的合约，并将陆续出版。

面试备战资料

八股文备战
场景描述链接
时间充裕（25万字）Java知识点大全（高频面试题）Java知识点大全
时间紧急（15万字）Java高级开发高频面试题Java高级开发高频面试题

理论知识专题（图文并茂，字数过万）

技术栈链接
RocketMQRocketMQ详解
KafkaKafka详解
RabbitMQRabbitMQ详解
MongoDBMongoDB详解
ElasticSearchElasticSearch详解
ZookeeperZookeeper详解
RedisRedis详解
MySQLMySQL详解
JVMJVM详解

集群部署（图文并茂，字数过万）

技术栈部署架构链接
MySQL使用Docker-Compose部署MySQL一主二从半同步复制高可用MHA集群Docker-Compose部署教程
Redis三主三从集群（三种方式部署/18个节点的Redis Cluster模式）三种部署方式教程
RocketMQDLedger高可用集群（9节点）部署指南
Nacos+Nginx集群+负载均衡（9节点）Docker部署方案
Kubernetes容器编排安装最全安装教程

开源项目分享

项目名称链接地址
高并发红包雨项目https://gitee.com/java_wxid/red-packet-rain
微服务技术集成demo项目https://gitee.com/java_wxid/java_wxid

管理经验

【公司管理与研发流程优化】针对研发流程、需求管理、沟通协作、文档建设、绩效考核等问题的综合解决方案：https://download.youkuaiyun.com/download/java_wxid/91148718

希望各位读者朋友能够多多支持！

现在时代变了，信息爆炸，酒香也怕巷子深，博主真的需要大家的帮助才能在这片海洋中继续发光发热，所以，赶紧动动你的小手，点波关注❤️，点波赞👍，点波收藏⭐，甚至点波评论✍️，都是对博主最好的支持和鼓励！

🔔如果您需要转载或者搬运这篇文章的话，非常欢迎您私信我哦~

分布式锁实现解析：几种简单方式的对比与选择
张彦峰的博客
12-25 172万+
本文分析了几种常见的分布式锁实现方式，包括基于Redis、ZooKeeper和数据库的方案。通过对每种方式的原理、优缺点进行深入剖析，本文旨在帮助开发者根据不同的应用场景选择合适的分布式锁实现。同时，文章还讨论了分布式锁的使用建议和最佳实践，为解决分布式系统中的并发控制问题提供了有效的参考。
分库分表的 9种分布式主键ID 生成方案
qq_41549632的博客
08-01 1525
《sharding-jdbc 分库分表的 4种分片策略》 中我们介绍了 sharding-jdbc 4种分片策略的使用场景，可以满足基础的分片功能开发，这篇我们来看看分库分表后，应该如何为分片表生成全局唯一的主键 ID。 引入任何一种技术都是存在风险的，分库分表当然也不例外，除非库、表数据量持续增加，大到一定程度，以至于现有高可用架构已无法支撑，否则不建议大家做分库分表，因为做了数据分片后，你会发现自己踏上了一段踩坑之路，而分布式主键 ID 就是遇到的第一个坑。 不同数据节点间生成全局唯一主键是个棘手的问题
分布式主键
m0_45164511的博客
09-01 1164
Snowflake的第二部分是时间戳，时间戳是唯一的，但是如果多个节点同时生产则会参数相同的时间戳，那怎么办？接着加唯一的值，工作机器的ID唯一呀。但是如果在一个进程中可能两个线程同时请求，那么会产生相同的（时间戳+工作机器ID），那就继续加唯一值，在加上最后的序列号，从而保证全局唯一。对于MySQL集群，单点数据库方式不可取，那对上边的方式做一些高可用优化，换成主从模式集群。：分布式主键服务本身就是一个底层的服务，很多服务都依赖于这个服务，如果底层服务都不稳定，那么上游的服务就更谈不上稳定。
转:分布式ID生成方法
weixin_34032779的博客
02-22 354
一、需求缘起 几乎所有的业务系统，都有生成一个记录标识的需求，例如： （1）消息标识：message-id （2）订单标识：order-id （3）帖子标识：tiezi-id 这个记录标识往往就是数据库中的唯一主键，数据库上会建立聚集索引（cluster index），即在物理存储上以这个字段排序。 这个记录标识上的查询，往往又有分页或者排序的业务需求，例如： （1）拉取最新的...
分布式主键 详解
qq_44027353的博客
08-06 1888
各个框架的雪花算法都有对时钟回拨的问题做相应的处理，基本思路就是记录上一次生成主键的时间lastMilliseconds，和当前时间进行比较，如果lastMilliseconds大于当前时间就表示出现了时钟回拨，处理方式要么sleep()一段时间，要么直接抛异常。现在就有一个思路，把MachineId(比如ip+端口)当做一个短的并发不是很高的分布式主键来处理，用其他分布式主键生成的方式生成工作进程位。给一个应用分配工作进程号位之后如果应用崩溃了，重启服务之后所生成的雪花算法还是需要保持一个稳定的区分度。
分布式之全局主键
猎户星座
01-10 374
在应用中，我们通常需要对各个项目中的各个库表的主键进行统一的获取分配，一般来说，我们会将此项目注册到Eureka上面，供其他项目有入库操作时调用，此处仅为了演示，所以没有将其注册到Eureka  pom.xml文件 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001...
ShardingSphere集成CosID框架的分布式主键生成技术解析
资源摘要信息:"ShardingSphere新接入的CosID分布式主键生成框架分析" 知识点: 1. ShardingSphere框架概述 ShardingSphere是一个开源的分布式数据库解决方案，其主要功能包括分布式数据库的分库分表、弹性伸缩和读写...
分布式mysql邮件解析1
08-03
总结来说，分布式MySQL邮件解析系统利用数据库中间件如MyCat来处理大规模邮件数据，通过分库分表、读写分离、主从复制等策略优化性能和扩展性。MyCat作为中间件，提供了丰富的配置选项和功能，使得在实际应用中能够...
系统设计面试指南：DNS Cache与分布式存储策略解析
2. 分布式文件存储策略：面对N台机器和M个文件的问题，需要设计一种容错机制，确保在宕机情况下仍能完整导出所有文件。这里可能涉及到RAID技术、Erasure Coding或者HDFS等分布式文件系统的理念，以保证数据的冗余和...
分布式数据库唯一主键设计
06-10
分布式数据库唯一主键设计
分步式主键发生器,适合分布式应用的id唯一性
03-26
基于java的分布式主键发生器,使用ice通讯,实现从单服务器到多层的大规模主键发生器,可以保持ID的唯一性.
分布式主键 Leaf-segment
a624575745856085的博客
08-01 1155
数据库生成 以MySQL举例，利用给字段设置auto_increment_increment和auto_increment_offset来保证ID自增，每次业务使用下列SQL读写MySQL得到ID号。 begin; REPLACE INTO Tickets64 (stub) VALUES ('a'); SELECT LAST_INSERT_ID(); commit; ...
sharding-jdbc系列（三）：分布式主键
辛勤的搬运工_
07-05 5858
在我们进行开发工作时，数据库表主键自动生成是一个基本的需求，而且大多数数据库也提供了基本的解决方案，比如mysql的自增主键、Oracle的自增序列。但是我们进行了分库分表后，同一个逻辑表内的不同实际表之间的自增键由于无法互相感知而产生重复主键。 目前有许多第三方解决方案可以完美解决这个问题，如UUID等依靠特定算法自生成不重复键，或者通过引入主键生成服务等。为了方便用户使用、满足不同用户不同使...
分布式ID算法
外星喵的博客
06-19 1043
介绍 什么是分布式ID算法 就像每个人都对应一个身份证一样，每条数据都对应一个ID,所以ID是数据的唯一标识，传统的做法是利用自增ID创建每条数据的唯一标识。但是随着数据量越来越大，数据库压力越来越大，需要对数据进行分库分表甚至转移到到多台机器上，此时每个表中的数据都会按自己的节奏进行自增，就会出现ID冲突的情况。这时就需要一个单独的机制来负责生成唯一ID，生成出来的ID也可以叫做分布式ID，或全局ID，而这个机制就是分布式ID算法。 分布式ID的意义 业务量小于500W或数据容量小于2G的时候单独一个my
分布式主键？雪花算法？号段模式？一文搞懂目前主流分布式主键解决方法
程序员作家
09-12 1130
分布式主键
分布式数据库主键方案 详解
chenshun123的博客
03-16 5916
采用 MySQL 实现方式在只使用单数据库时，使用自增主键ID无疑是最适合的。但在集群、主从架构上时就会有一些问题，比如 : 主键的全局唯一在集群环境下除自增ID 外的其它创建主键的方案1> 通过应用程序生成一个 GUID，然后和数据一起插入切分后的集群优点 : 维护简单，实现也容易缺点 : 应用的计算成本较大，且 GUID 的长度比较长，占用数据库存储空间较大，涉及到应用的开发2> ...
利用 Redisson 实现分布式主键生成
hello.reader
12-01 1495
分布式主键是一种能够在分布式环境中生成全局唯一标识符（ID）的机制，常用于数据库的主键或分布式存储的对象标识。
ShardingSphere：分布式主键策略解析
最新发布
我是Java程序员廖志伟，感谢朋友们的支持！不定期贡献一篇高品质、过万文字、图文并茂且附有视频解说、满载代码示例注释的良心之作，坚决杜绝粗制乱造。
08-18 1242
在分布式数据库系统中，数据分片是提高系统扩展性和性能的关键技术之一。然而，随着分片数量的增加，如何生成全局唯一的主键成为一个不容忽视的问题。这就引出了ShardingSphere中的分布式主键概念。想象一下，在一个大型电子商务平台中，商品信息需要存储在多个数据库分片中，每个分片都需要有唯一标识符，以便于数据的快速检索和关联。如果没有有效的分布式主键生成策略，可能会导致数据重复、查询效率低下等问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值