雪花算法-数据量少尽量不取模2或4

原创 已于 2022-06-28 18:22:43 修改 · 693 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #java

于 2021-10-22 11:07:30 首次发布
本文探讨了雪花算法在生成唯一ID时可能出现的问题，特别是在数据量较小或TPS（每秒事务处理量）较低的情况下，由于同一毫秒内可能只分配一个ID，导致ID为2和4的倍数，取模运算时会偏移到0区。因此，建议在使用雪花算法作为分片键时避免取模2或4，以防止数据分布不均。

雪花算法的坑

雪花算法尽量不要模2或4 会导致id偏移到0区

雪花算法组成

正数统一为0|

时间戳0-0101-0000-1000-0010-1101-0101-0101-1010-1111-0010|

机房01100|

机器00111|

毫秒值碰撞0000-0000-0000 

最后12位表示0位   (Math.pow(2, 12) - 1)=4095 一共4096个数

5位datacenterId和5位workerId表示各 0-31 一共32个数

存在问题

当分配id速率小时，同一毫秒只分配一个id则最后12位都是0，所以不存在2^0，故而雪花生成的id是2,4的倍数，取模偏移0区
数据量少时或者tps低时尽量避免取模2，4，如分片键
 

sharding-jdbc 分库分表后的分布式ID解决方案、取模规则
会飞的小蜗
10-25 2258
文章目录一、分布式自增ID算法---雪花算法 (snowflake，Java版)1、以下是Twitter官方原版的，用Scala写的2、Java版（常用）二、实际项目中的问题1.场景2.方案 一、分布式自增ID算法—雪花算法 (snowflake，Java版) 一般情况，实现全局唯一ID，有三种方案，分别是通过中间件方式、UUID、雪花算法。 方案一，通过中间件方式，可以是把数据库或者redis缓存作为媒介，从中间件获取ID。这种呢，优点是可以体现全局的递增趋势（优点只能想到这个），缺点呢，倒是一大堆，比如
分布式部署ID全局配置之雪花算法
qq_40093255的博客
01-05 2967
HttpClient使用(包含HttpPost及HttpGet) 简介 HttpClient是Apache Jakarta Common下的子项目，用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包，并且它支持HTTP协议最新的版本和建议。 HttpClient最新版本是HttpClient 4.5.3 (GA)。 官方下载：http://hc.apache.org/downloads.cgi 主要特性 基于标准、纯净的Java语言，实现了HTTP1.0和HTTP1.1。 以可扩展的面向
sahrding-jdbc的雪花算法取模为0或1的问题
weixin_47733858的博客
01-09 989
sharding-jdbc雪花算法生成的id取模问题
【并发编程】推特(Twitter)的Snowflake算法——用于生成唯一ID
猫巳的博客
09-05 711
前言关于如何在系统中生成唯一性ID的问题(如订单号、批次号等)，一直困扰了许久。因为还要考虑并发的问题，所以时间戳+随机数的组合并不可取，Java中的UUID是一种可取的方法，但它的缺点是序列号太长了，而且没有可读性，对用户来说这么一堆乱码是极不友好的。 推特的工程师snowflake也提出了一个在分布式系统中生成唯一序列的方法。S...
雪花算法 详解
jntmjntm的博客
06-19 1340
雪花算法 详解
雪花算法snowflake
BBBBBBB
08-18 303
雪花算法snowflake
雪花算法概述
qq_35024768的博客
09-02 782
背景 雪花算法产生的背景当然是twitter高并发环境下对唯一ID生成的需求，得益于twitter内部牛逼的技术，雪花算法流传至今并被广泛使用。它至少有如下几个特点： 能满足高并发分布式系统环境下ID不重复 基于时间戳，可以保证基本有序递增（有些业务场景对这个又要求） 不依赖第三方的库或者中间件 生成效率极高 雪花算法原理 雪花算法的原理其实非常简单，我觉得这也是该算法能广为流传的原因之一吧。 算法产生的是一个long型 64 比特位的值，第一位未使用。接下来是41位的毫秒单位的时间戳，我们可以计算下：
海量数据解决方案ShardingSphere分库分表详解
qq_30713721的博客
01-20 1867
一篇文章掌握海量数据解决方案ShardingSphere分库分表详解：ShardingSphere概述、数据分片（垂直分片、水平分片）、分片算法、分片策略、分布式主键、数据分片使用规范、读写分离、雪花算法等等。
大数据面试题--数仓
热门推荐
weixin_42759988的博客
02-22 1万+
目录 数据仓库理论 数据分层 E T L 星形模型与雪花模型的区别？ 维度建模（dimensional modeling）： 数据仓库项目最重要或需要注意的是什么，以及如何处理？ 关系建模与维度建模 拉链表： 维度表和事实表 数据仓库中的维度和粒度 维度建模步骤： 如何构建数据仓库？ Flink面试题 Flink的重启策略： Flink集群规模 Flink 集群有哪些角色？各自有什么作用？ TODO说说 Flink 资源管理中 Task Slot 的概念 说说 Fli
【数据库分库分表解决方案】：应对数据量爆炸的黄金攻略
随着数据量的爆炸式增长，分库分表技术已成为解决大规模数据管理的重要手段。本文从理论基础出发，深入探讨了分库分表的必要性、原理、关键技术，并结合常用分库分表方案和实践中的性能优化，提供了一套完整的技术...
默默学Sharding-Sphere(二)
默默草
12-19 7972
从上篇了解Sharding-Sphere的一个背景、定位以及规划后，我再去看了下官方文档，发现sharding-sphere活跃还是有原因的，文档一个字：详细。这里我大致拆分成两份：说明文档、使用文档。 说明文档 背景 传统的将数据集中存储至单一数据节点的解决方案，在性能、可用性和运维成本这三方面已经难于满足互联网的海量数据场景。 从性能方面来说，由于关系型数据库大多采用B+树类型的索引，在数据量...
雪花算法详细讲解
哥的时代，为你保驾护航
12-13 698
雪花算法：Twitter的分布式自增ID算法，Snowflake（雪花算法是由Twitter公布的分布式主键生成算法，它能够保证不同表的主键的不重复性，以及相同表的主键的有序性。最初Twitter把存储系统从MySQL迁移到Cassandra（由Facebook开发一套开源分布式NoSQL数据库系统）因为Cassandra没有顺序ID生成机制，所有开发了这样一套全局唯一ID生成服务。Twitter的分布式雪花算法SnowFlake，经测试SnowFlake每秒可以产生26万个自增可排序的ID。
分布式ID-一窥雪花算法的原生实现问题与解决方案（CosId）
致橡树
08-20 1860
雪花算法的基本原理和常见问题，以及开源框架CosId对雪花算法的改进
数据库-分库分表初探
起风了
01-22 1513
分库分表基本介绍
分布式中雪花算法
qq2844509367的博客
03-06 641
随着用户量的增加，数据信息的迭代，导致空间不足的，所以我必须想办法解决水平和垂直分表可以解决问题，但都有缺点雪花算法可以更好解决分表带来的问题，并且有规律的展现大厂现在都用雪花算法生成ID。
雪花算法
∑
05-21 9168
雪花算法的起源 雪花算法原理 雪花算法java实现 一些细节讨论 调整比特位分布 workerid一般如何生成 雪花算法的起源 snowflake中文的意思是 雪花，雪片，所以翻译成雪花算法。它最早是twitter内部使用的分布式环境下的唯一ID生成算法。在2014年开源。开源的版本由scala编写，大家可以再找个地址找到这版本。 https://github.com/twitter-archive/snowflake/tags 雪花算法产生..
雪花算法使用中的一些问题及解决方案
for_happy123的博客
10-06 4249
帮助理解雪花算法的知识 十进制、二进制表示法、位运算 什么是雪花算法 关于雪花算法是啥网上到处都是，为了节省大家的流量和时间，一句话概括下： 雪花算法是Twitter设计的根据时间戳、机器标识码和序列号生成的唯一长整型数 能解决什么问题 确保在大规模高并发环境中，可以生成持续递增的唯一长整型数 具有哪些特点 唯一性 持续递增 结果为长整型数字 不依赖其他系统，无需引入数据库、Redis等系统 吞吐量大，12位序列号情况下，每毫秒可生成 4095个ID 实现原理 一张非常经典的图 符号位：仅表示
ID取模分片
漫天雪_昆仑巅
02-26 1865
根据ID取模分片，在大数据存储的时候常用到，以下是取模代码：public static void main(String[] args) { //取模方法一 for (int i = 0; i < 10000; i++) { //取hash String key = String.valueOf(i); long value = Long.valueOf(key.h...
数据库分表
那就这样吧~
05-09 1496
背景 随着业务规模的不断扩大，需要选择合适的方案去应对数据规模的增长，以应对逐渐增长的访问压力和数据量。 数据库的扩展方式主要包括：业务分库、主从复制，数据库分表。 数据库分表 将不同业务数据分散存储到不同的数据库服务器，能够支撑百万甚至千万用户规模的业务，但如果业务继续发展，同一业务的单表数据也会达到单台数据库服务器的处理瓶颈。例如，淘宝的几亿用户数据，如果全部存放在一台数据库服务器的一张表中，肯定是无法满足性能要求的，此时就需要对单表数据进行拆分。 单表数据拆分有两种方式：垂直分表和水平分表。示意图如下
雪花算法id取模
最新发布
07-26
<think>首先，用户的问题是关于雪花算法生成的ID如何进行取模运算。用户提到，取模操作可能用于数据分片、负载均衡或数据库分表等场景。 从系统级指令中，我需要： - 所有行内数学表达式使用$...$格式。 - 独立公式使用$$...$$格式并单独成段。 - 使用中文回答。 - 生成相关问题。 - 在回答中引用的段落末尾自然地添加引用标识，例如[^1]。 用户提供的引用内容： - 引用[1]: 描述了雪花算法的核心原理，包括时间戳、机器标识和序列号组合生成64位ID。 - 引用[2]: 讨论了雪花算法生成ID重复的问题，特别是在分布式系统中。 用户意图是了解如何对雪花算法生成的ID进行取模运算。 雪花算法生成的ID是一个64位的整数。结构通常包括： - 时间戳部分（通常41位） - 机器ID部分（通常10位） - 序列号部分（通常12位） 例如，一个标准的雪花ID：64位 = 1位符号位（通常为0） + 41位时间戳 + 10位工作机器ID + 12位序列号。 用户想对这个ID进行取模运算。取模运算（modulo operation）用于获取余数，常用于分片或散列。 在回答中，我需要： 1. 解释雪花ID的结构。 2. 说明如何对ID进行取模运算。 3. 讨论注意事项，比如ID的分布特性。 4. 生成相关问题。 结构化回答： - 开头解释雪花ID。 - 然后描述取模操作。 - 使用数学表达式表示。 - 添加引用标识。 - 最后生成相关问题。 数学表达式： - 行内数学：例如，ID $ID$，取模 $ID \mod m$。 - 独立公式：如果需要详细公式。 用中文回答。 步骤： 1. 介绍雪花算法ID。 - 基于引用[1]，雪花算法生成64位唯一ID。 - 结构：时间戳（41位）、机器ID（10位）、序列号（12位）。 - 公式：$$ ID = (timestamp \ll 22) | (machine\_id \ll 12) | sequence\_num $$ 其中，$\ll$ 表示左移操作。 2. 解释取模运算。 - 取模运算：$ ID \mod m $，其中 $m$ 是模数。 - 这会产生一个介于0和$m-1$之间的余数。 - 应用：用于数据分片，例如，将ID映射到不同的分片或桶。 3. 注意事项： - 由于雪花ID的高位是时间戳，ID是时间递增的，所以取模后分布可能不均匀，尤其是如果时间戳变化慢。 - 在分布式系统中，机器ID部分确保不同机器生成的ID不同，但取模时需要考虑整体分布。 - 如果模数 $m$ 不是2的幂，分布可能不均匀；但雪花ID整体是唯一的，取模可用于分片。 4. 生成相关问题： - 类似于示例，列出3个相关问题。 引用标识： - 在解释雪花算法时，添加[^1]。 - 在讨论重复问题时，添加[^2]。 完整回答结构： - 开头：简述雪花算法。 - 主体：解释取模操作。 - 结尾：注意事项和生成问题。</think>### 雪花算法ID的取模运算 雪花算法（Snowflake Algorithm）是一种分布式唯一ID生成机制，它生成一个64位的全局唯一整数ID。其核心结构包括时间戳（41位）、机器标识（10位）和序列号（12位），组合公式为： $$ ID = (\text{timestamp} \ll 22) \mid (\text{machine\_id} \ll 12) \mid \text{sequence\_num} $$ 其中，$\ll$ 表示左移操作，$\mid$ 表示按位或操作[^1]。这种ID具有时间递增特性，适合高并发分布式系统。 #### 如何进行取模运算 取模运算（modulo operation）是对雪花算法生成的ID $ID$ 应用模数 $m$，以获取余数，公式为： $$ \text{result} = ID \mod m $$ 这里，$m$ 是一个正整数（例如，分片数量或桶大小），结果 $\text{result}$ 是一个介于 $0$ 和 $m-1$ 之间的整数。具体步骤如下： 1. **获取ID**：雪花算法生成一个64位无符号整数 $ID$（在编程中通常表示为长整型，如Java中的`long`）。 2. **选择模数 $m$**：根据应用场景确定 $m$ 的值。例如： - 数据分片：$m$ 表示分片总数（如 $m=4$ 表示4个数据库分片）。 - 负载均衡：$m$ 表示服务器节点数（如 $m=10$ 表示10台服务器）。 3. **计算取模**：直接对 $ID$ 执行取模运算。在代码中，这通常用一个简单操作实现，例如： ```python # Python示例：计算雪花ID的取模结果 snowflake_id = 1234567890123456789 # 示例雪花ID m = 8 # 模数，例如分片数为8 result = snowflake_id % m # 取模运算，结果在0到7之间 print(result) # 输出余数 ``` - **数学原理**：取模运算基于整数除法，$ ID \mod m $ 等价于 $ ID - m \times \lfloor ID / m \rfloor $，其中 $\lfloor \cdot \rfloor$ 表示向下取整。 - **结果使用**：余数 $\text{result}$ 可直接用于路由决策，例如： - 数据库分表：`user_table_${result}` 将数据存储到对应分表。 - 负载均衡：将请求分发到编号为 $\text{result}$ 的服务器节点。 #### 注意事项 - **分布均匀性**：雪花ID的高位是时间戳，因此ID随时间递增。如果时间戳变化缓慢（例如，低并发时），取模结果可能偏向某些值，导致分布不均匀。建议在分片场景中，选择 $m$ 为2的幂（如 $m=8, 16$），以利用位运算优化性能（例如，$ ID \mod 8 $ 等价于 $ ID \ \&\ 7 $，其中 $\&$ 是按位与操作）。 - **唯一性与冲突**：雪花ID本身是全局唯一的（时间戳 + 机器ID + 序列号）[^1]，但取模后不同ID可能映射到相同余数（这不是冲突，而是分片的预期行为）。在分布式系统中，确保机器ID部分（10位）配置正确，以避免生成重复ID[^2]。 - **性能考虑**：取模运算计算简单，时间复杂度为 $O(1)$，适合高并发场景。如果ID生成速率高（如每秒百万级），建议在应用层缓存取模结果，避免重复计算。 - **实际应用**：取模常用于： - 数据分片：如分库分表，将数据均匀分布到多个存储节点。 - 哈希路由：在微服务架构中，实现请求的负载均衡。 - 随机抽样：例如，选择 $ ID \mod 10 == 0 $ 的ID进行分析。 通过取模运算，雪花ID可以高效支持分布式系统的扩展性需求[^1][^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值