Java架构/一致性Hash算法在数据库分表中的实践

最新推荐文章于 2023-02-07 16:00:44 发布
原创 最新推荐文章于 2023-02-07 16:00:44 发布 · 2.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了在面对亿级数据时，如何使用一致性Hash算法进行数据库分表，包括方案决策、表结构、算法实现、单表拆分、数据迁移等实践过程，以及遇到的问题和改进方向。

最近有一个项目，其中某个功能单表数据在可预估的未来达到了亿级，初步估算在90亿左右。与同事详细讨论后，决定采用一致性Hash算法来完成数据库的自动扩容和数据迁移。整个程序细节由我同事完成，我只是将其理解并成文，供有相同问题的同行参考。

参看此文的兄弟，默认各位已经熟悉一致性hash算法了。此文仅仅阐述代码细节，实现语言为Java。

项目背景

1.项目是一个实验室项目

2.其中有一个表叫做试验表，用于存储车型的试验数据，每个试验大概有6000条数据

3.总计初期约有2万个车型，每个车型初期包含超过50个试验。后期还会动态增长

4.试验表中的数据仅需要根据车型试验ID能取出来即可，没有其他更复杂的业务逻辑

方案决策

项目正式上线初期，数据量不会直接爆发式增长到90亿，需要时间上的积累（逐步做实验），最终可能达到90亿数据，甚至超过90亿数据。

按照我们实际了解情况，oracle存储数据量达到1千万的时候，性能擅可。而Oracle官方的说法，如单表存储1g有分区（大致500万数据），查询效率非常高。而试验表中仅四个字段，每条数据数据量较小。所以我们最终决定以1000万为节点，水平拆表。当表数据达到1千万时，即增加下一波表。进行数据自动迁移。

按照90亿的总量，1000万数据一个表的划分，最终大致会产生900个左右的表。所以我们最终使用了4个数据库。1个存储其他业务模块的表，3个存储此大数据表。每个数据库大致有300张表。性能上和数量上都可达到我们的要求。

相关表结构

试验信息表（EXPERIMENT_MESSAGE），挂接车型和试验的关系。试验数据表（EXPERIMENT_DATA），存储试验数据

试验信息表：

最低0.47元/天 解锁文章
一致性hash算法的应用与go语言实现
小飞的博客
06-05 734
一致性hash算法通过其独特的设计理念和实现方式，在分布式系统中发挥着重要作用。它不仅能够解决节点增减时数据映射关系的最小变动问题，还能够实现数据的均匀分布和高效访问。在分布式缓存、数据库分库分表、P2P网络等场景中，一致性hash算法都有着广泛的应用前景。
Java一个简单的一致性hash算法（带虚拟节点）
希尔伯特的博客
04-21 1191
最近由于项目需要实现一个负载均衡的功能。考虑到以往的技术应用，准备参考Mycat的一致性hash算法，实现此功能。查阅网上资料和Mycat一致性hash算法的源码后，编写了一个简单的实现算法。 具体实现如下： 缓存实现参考：https://blog.youkuaiyun.com/weixin_35971547/article/details/89427914 import com.gccp.trans...
SpringBoot_shardDB_shardTable:SpringBoot集成Sharding-JDBC实现分库分表，自定义分片算法，基于一致性hash算法，易于扩容
05-31
项目信息： 此项目是基于SpringBoot的，并在其基础上设计了 RestFul 风格的接口 。除此之外，还整合了其它的功能： 整合了swagger生成在线的接口文档，并且实现统一格式的响应及异常情况处理； 集成了 PageHelper 分页插件，支持更加友好的分页查询； 整合了 Mybatis 、Redis，以及 详细的 日志配置； 整合了 Sharding-JDBC ，实现了 分库分表，并且在分库分表中实现了自定义的分片算法; 一致性Hash算法，易于扩容； 添加了 单元测试，使用Spring提供的RestTemplate调用RestFul风格的API接口； 整合了 quartz 定时任务框架 ，并进行了封装，只需在构建完定时任务Job类后，在 application-quartz.properties 配置文件中进行简单配置即可； 实现了 reids 分布式锁 ，当项目部署集群时，
一致性Hash算法在数据库分表中的实践
diaoxie19780718的博客
09-17 1075
最近有一个项目，其中某个功能单表数据在可预估的未来达到了亿级，初步估算在90亿左右。与同事详细讨论后，决定采用一致性Hash算法来完成数据库的自动扩容和数据迁移。整个程序细节由我同事完成，我只是将其理解并成文，供有相同问题的同行参考。 参看此文的兄弟，默认各位已经熟悉一致性hash算法了。此文仅仅阐述代码细节，实现语言为Java。 项目背景 项目是一个实验室项目 其中有一个表叫做试验表...
一致性hash算法在分表分库中的应用
weixin_33720956的博客
12-30 222
2019独角兽企业重金招聘Python工程师标准>>> ...
mysql一致性hash分表_一致性哈希算法(分库分表，负载均衡等)
weixin_36327991的博客
01-20 3446
在分布式应用中，应该来说使用到hash最多的地方就是rpc负载均衡和分库分表，通常对于正式意义上的分布式应用来说，扩容和收缩是一个半自动化的过程，在此期间，应用基本上是可用的，所以不能发生大规模动荡的意外，为了最小化潜在的影响，一致性hash算法就扮演了极为重要的角色。consistent hashing算法早在1997年就在论文1基本场景比如你有N个cache服务器(后面简称c...
一致性哈希算法(分库分表，负载均衡，实践分享)
weixin_34216036的博客
05-17 2477
为什么80%的码农都做不了架构师？>>> ...
PHP实现的一致性Hash算法详解【分布式算法】
10-18
主要介绍了PHP实现的一致性Hash算法,结合实例形式详细分析了php一致性Hash算法的概念、原理及相关实现与使用技巧,需要的朋友可以参考下
PHP实现的服务器一致性hash分布算法示例
10-18
服务器一致性hash分布算法是一种用于分布式系统中，将键（Key）映射...这不仅有助于理解一致性hash算法的原理，同时也提供了在PHP环境中实现该算法的方法和技巧，适用于需要在分布式系统中合理分配数据和负载的开发者。
重定向后session数据丢失_一致性哈希算法--> 解决memecache 服务器扩容后的数据丢失（仅学习）...
weixin_39739661的博客
11-23 616
原文链接：一致性哈希算法-----> 解决memecache 服务器扩容后的数据丢失。阅读目录1 基本场景2 hash 算法和单调性3 consistent hashing 算法的原理4 虚拟节点5 小结1 基本场景比如你有 N 个 cache 服务器（后面简称 cache ），那么如何将一个对象 object 映射到 N 个 cache 上呢，你很可能会采用类似下面的通用方法计算 obje...
mysql一致性hash分表_分库分表与负载均衡的一致性hash算法
weixin_35693014的博客
01-20 657
在分布式应用中，扩容和收缩是一个半自动化的过程，在此期间，应用基本上是可用的，所以不能发生大规模动荡的意外，为了最小化潜在的影响，这时候需要使用到一致性hash算法实现负载均衡和分库分表，hash路由算法在分布式场景下极为重要的角色。consistent hashing 算法早在 1997 年就在论文 Consistent hashing and random trees 中被提出，目前在cach...
【另类见解】一致性哈希就能解决分库分表问题了？
dotNET跨平台
12-22 1786
“开局一问：分库分表行为中，一致性哈希到底用处大不大？装B脑图现在是大数据的时代，其中一个体现就是数据量非常庞大。当然大数据的概念绝非是数据量就可以定义的，我自己给大数据下的定义是：无处不...
一致性哈希详解
稻草人技术博客
03-02 653
文章目录一、Redis集群的使用二、为Redis集群使用Hash三、使用Hash的问题四、一致性Hash算法的神秘面纱五、一致性Hash算法的容错性和可扩展性六、Hash环的数据倾斜问题七、一致性体现在哪里 一、Redis集群的使用 我们在使用Redis的时候，为了保证Redis的高可用，提高Redis的读写性能，最简单的方式我们会做主从复制，组成Master-Master或者Master-Sla...
一致性hash算法
gonghaiyu的博客
09-04 1万+
一致性hash算法为什么会出现一致性hash传统hash算法的弊端顺序分区哈希分区节点取余分区一致性hash算法算法演示如何让key和缓存节点对应起来呢？增加节点有哪些key会受到影响呢？删除节点有哪些key会受到影响呢？一致性hash升级版 为什么会出现一致性hash 一致性hash算法是分布式系统资源负载均衡的首选算法。在Memcached、Key-Value Store、Bittorrent DHT、LVS中都采用了一致性hash算法。 传统hash算法的弊端 资源数据分布通常有哈希分区和顺序分区.
利用一致性哈希水平拆分MySql单表
热门推荐
xiaobluesky的专栏
12-29 1万+
Sharding（切片） 不是一门新技术，而是一个相对简朴的软件理念，就是当我们的数据库单机无法承受高强度的i/o时，我们就考虑利用 sharding 来把这种读写压力分散到各个主机上去。 所以Sharding 不是一个某个特定数据库软件附属的功能，而是在具体技术细节之上的抽象处理，是Horizontal Partitioning 水平扩展(或横向扩展)的解决方案，其主要目的是为
一致性哈希--分库分表
leslytt的专栏
12-19 6544
首先了解一下什么是一致性哈希，这里推荐一篇博客： http://blog.youkuaiyun.com/cywosp/article/details/23397179/分库分表是目前解决单点数据库一种比较流行的做法，也相对成熟，但都有一个共同的问题，就是随着业务的增长，之前的分库分表容量不够了，需要扩容了，这时，使用一致性哈希或者分段哈希（静态哈希+配置规则）可以尽量的减少数据的迁移。这里只谈一谈一致性哈希的
Java实现加密（四）哈希算法与一致性哈希算法
ACGkaka的博客
11-10 2013
在分布式系统中一致性hash算法起着不可忽略的地位，无论是分布式缓存，还是分布式RPC框架的负载均衡策略都有所使用。分布式系统每个节点都有可能失效，并且新的节点很可能动态的增加进来的情况，如何保证当系统的节点数发生变化的时候，我们的系统仍然能够对外提供良好的服务，这是值得考虑的。一致性哈希算法能尽可能减少服务器数量变化所导致的缓存迁移。
Sharding JDBC 分库分表（一致性Hash + 虚拟节点）
ahaha__123的博客
02-07 4467
Sharding JDBC 分库分表（一致性Hash + 虚拟节点）
Java使用一致性哈希算法解决分表数据倾斜的问题
最新发布
11-28
<think> 首先，用户的问题是：“Java使用一致性哈希算法解决分表数据倾斜问题的方法”，意思是“Java如何使用一致性哈希算法解决分表数据倾斜问题”。 根据系统级指令： - 所有行内数学表达式必须使用$...$格式。 - 独立公式必须使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识，例如[^1]。 用户可见层指令：回答结构清晰，帮助用户逐步解决问题，尽量保证回答真实可靠。 参考提供的引用： - [^1] 提到一致性哈希算法用于分布式系统数据分片，通过虚拟节点技术解决数据倾斜问题。 - [^2] 解释一致性哈希算法是割环法，解决服务器动态伸缩时的映射问题。 - [^3] 讨论分库分表中使用哈希算法。 - [^4] 和 [^5] 强调一致性哈希在分库分表和负载均衡中的应用。 关键点是：用户想知道Java中如何使用一致性哈希算法来解决分表数据倾斜问题。 我需要构建一个结构清晰的回答： 1. **介绍一致性哈希算法**：简要解释它是什么，为什么用于解决数据倾斜。参考引用。 2. **数据倾斜问题**：解释在分表场景中数据倾斜是什么。 3. **Java实现方法**：提供Java代码示例，展示如何使用一致性哈希算法，包括虚拟节点部分来解决数据倾斜。 4. **步骤**：逐步说明实现过程。 5. **引用标识**：在适当的地方添加引用，如[^1]。 6. **生成相关问题**：在回答后添加相关问题部分。 回答结构： - 开头介绍问题。 - 主体部分分步骤解释。 - 结尾生成相关问题。 数学表达式：如果有哈希函数等，使用$...$格式。例如，哈希函数可以表示为 $h(key)$。 Java代码示例：使用代码块显示。 生成相关问题：基于主题，如性能优化、应用场景等。 最终输出格式： - 回答部分。 - §§相关问题§§ 部分。 确保内容真实可靠：基于一致性哈希的标准实现。虚拟节点是解决数据倾斜的关键。 </think>### Java使用一致性哈希算法解决分表数据倾斜问题的方法 在分布式系统中，分表（如分库分表）是一种常见的数据分片策略，用于提升存储和处理能力。然而，传统哈希算法（如取模哈希）在服务器添加或移除时，可能导致数据分布不均，称为“数据倾斜”（即部分表负载过高，其他表负载过低）。一致性哈希算法通过引入“虚拟节点”技术来缓解这一问题，确保数据分布更均匀[^1]。下面，我将逐步解释Java中如何实现一致性哈希算法来解决分表数据倾斜问题。整个过程包括：算法原理、核心步骤、Java代码实现，以及优化策略。 #### 1. **一致性哈希算法原理介绍** 一致性哈希是一种分布式哈希算法，它将数据和服务器的映射关系组织在一个“虚拟环”（通常为 $[0, 2^{32}-1]$ 的范围）上。每个服务器（或表）通过哈希函数映射到环上的一个点。当添加或移除服务器时，只影响相邻节点的数据，从而最小化数据迁移量[^2]。关键优势在于： - **数据倾斜问题**：传统哈希（如 $hash(key) \mod N$，其中 $N$ 是表数量）在 $N$ 变化时会导致数据大规模重分布，引发倾斜。 - **虚拟节点技术**：每个物理表映射多个虚拟节点（如 $virtualNodeCount$），通过增加节点密度，使数据分布更均匀。例如，一个物理表对应100个虚拟节点，数据根据虚拟节点的哈希值分配到环上，避免热点问题[^1]。 #### 2. **Java实现步骤** 在Java中，实现一致性哈希算法解决分表数据倾斜问题，包括以下核心步骤。我们将使用Java标准库（如 `java.util.SortedMap` 和 `java.security.MessageDigest`）来简化代码。假设场景：将用户ID（key）分配到多个表（如4个分表）。 ##### 步骤1: 定义哈希函数 使用MD5或SHA-1哈希函数将键映射到环上。哈希值范围设为 $[0, 2^{32}-1]$ 以模拟环结构。数学上，哈希函数定义为 $h(key) = \text{hash}(key) \mod 2^{32}$。Java中可以用 `MessageDigest` 实现。 ##### 步骤2: 添加虚拟节点 - 每个物理表创建多个虚拟节点（如100个），虚拟节点名格式为“表名#编号”。 - 虚拟节点增加节点密度，确保环上分布均匀。例如，物理表1的虚拟节点包括“table1#0”、“table1#1”等。 ##### 步骤3: 构建环并映射数据 - 使用 `SortedMap`（如 `TreeMap`）存储虚拟节点及其哈希值。 - 数据分配时，找到环上第一个大于等于键哈希值的节点（通过 `tailMap` 方法）。 ##### 步骤4: 处理数据倾斜 - 监控数据分布：如果某个表的数据量超过阈值（如平均值的2倍），增加虚拟节点数。 - 动态伸缩：添加或移除表时，只需调整虚拟节点，最小化数据迁移[^1][^5]。 #### 3. **Java代码示例** 以下是一个完整的Java实现示例，包括一致性哈希类和使用示例。代码中使用了虚拟节点技术来解决数据倾斜问题。 ```java import java.security.MessageDigest; import java.security.NoSuchAlgorithmException; import java.util.*; public class ConsistentHash { // 环结构：使用SortedMap存储虚拟节点（哈希值 -> 物理表名） private final SortedMap<Integer, String> circle = new TreeMap<>(); private final int virtualNodeCount; // 每个物理表的虚拟节点数 private final MessageDigest md; // 哈希函数（使用MD5） public ConsistentHash(int virtualNodeCount) throws NoSuchAlgorithmException { this.virtualNodeCount = virtualNodeCount; this.md = MessageDigest.getInstance("MD5"); } // 添加物理表到环中 public void addTable(String tableName) { for (int i = 0; i < virtualNodeCount; i++) { String virtualNode = tableName + "#" + i; int hash = hash(virtualNode); circle.put(hash, tableName); } } // 移除物理表 public void removeTable(String tableName) { for (int i = 0; i < virtualNodeCount; i++) { String virtualNode = tableName + "#" + i; int hash = hash(virtualNode); circle.remove(hash); } } // 获取键对应的表名 public String getTable(String key) { if (circle.isEmpty()) { return null; } int hash = hash(key); // 查找环上第一个 >= hash 的节点 SortedMap<Integer, String> tailMap = circle.tailMap(hash); int nodeHash = tailMap.isEmpty() ? circle.firstKey() : tailMap.firstKey(); return circle.get(nodeHash); } // 哈希函数：计算字符串的哈希值（映射到0-2^32-1） private int hash(String input) { md.reset(); md.update(input.getBytes()); byte[] digest = md.digest(); // 取前4字节转换为整数（范围0-2^32-1） long hashLong = ((long) (digest[3] & 0xFF) << 24) | ((long) (digest[2] & 0xFF) << 16) | ((long) (digest[1] & 0xFF) << 8) | (digest[0] & 0xFF); return (int) (hashLong & 0xFFFFFFFFL); // 确保为正整数 } // 主方法：测试数据分布 public static void main(String[] args) throws NoSuchAlgorithmException { // 创建一致性哈希实例，每个表100个虚拟节点 ConsistentHash ch = new ConsistentHash(100); ch.addTable("table1"); ch.addTable("table2"); ch.addTable("table3"); ch.addTable("table4"); // 模拟数据分配：1000个键 Map<String, Integer> countMap = new HashMap<>(); for (int i = 0; i < 1000; i++) { String key = "user" + i; String table = ch.getTable(key); countMap.put(table, countMap.getOrDefault(table, 0) + 1); } // 输出数据分布：检查倾斜（理想应均匀） System.out.println("Data distribution per table:"); countMap.forEach((table, count) -> System.out.println(table + ": " + count + " records")); } } ``` **代码解释：** - **虚拟节点处理**：在 `addTable` 方法中，每个物理表（如 "table1"）添加 `virtualNodeCount` 个虚拟节点（默认100个），通过 `hash` 方法映射到环上。这解决了数据倾斜问题，因为虚拟节点增加了节点密度，使数据分布更平滑[^1]。 - **数据分配**：`getTable` 方法使用 `tailMap` 查找键对应的表。哈希函数 $h(key)$ 确保键均匀分布。 - **测试结果**：运行 `main` 方法，输出各表数据量（如每个表约250条记录）。如果出现倾斜（如某个表数据过多），可增加 `virtualNodeCount` 或动态调整。 #### 4. **优化策略和注意事项** - **解决数据倾斜**：如果测试显示倾斜（如某个表数据量偏大），增加虚拟节点数（如从100到200）。虚拟节点数量 $v$ 的选择公式为 $v \propto \frac{1}{\text{倾斜因子}}$，其中倾斜因子是最大/最小数据量的比值[^1]。 - **性能考虑**：虚拟节点增加内存开销，但查找时间复杂度为 $O(\log N)$（$N$ 是虚拟节点总数），高效可扩展。 - **实际应用**：在分库分表系统中（如MySQL或分布式缓存），结合负载均衡器使用此算法，确保高可用性[^4][^5]。 - **局限性**：一致性哈希不能完全消除倾斜，但通过监控和动态调整虚拟节点，可控制在可接受范围内（如数据分布标准差 < 10%）[^2]。 通过这个Java实现，您可以有效解决分表数据倾斜问题。虚拟节点技术是关键，它通过增加“节点密度”来分散数据热点，提升系统弹性[^1]。如果您有具体场景（如表数量变化），可进一步优化代码。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值