用 MurmurHash + Base62 生成短链接

短链系统设计:高并发架构、缓存策略与分布式ID生成实战 在分布式系统和高并发场景中,URL重定向与映射是常见的基础需求,其核心原理是通过唯一的短码将冗长的原始链接映射为简洁可传播的短链接。从技术实现层面,这涉及到分布式ID生成算法(如Snowflake)、哈希函数、Base62编码等关键技术,以确保短码的全局唯一性和生成效率。在工程实践中,系统需要应对海量跳转请求带来的高并发读挑战,这通常通过多级缓存策略(如Redis集群结合本地缓存)和防止缓存穿透的布隆过滤器来解决。短链系统的技术价值在于,它不仅能够节省字符空间、提升用户体验,还能支撑社交媒体营销、广告追踪等 阅读详情

短链接?

你有没有遇到过这种情况?

想在朋友圈分享一个链接,结果一粘贴——好家伙,一长串参数,占了半屏,还带一堆 ?utm_source=xxx&ref=yyy…… 别人一看就烦,自己都懒得点。更别说在短信、海报、二维码等空间有限的场景下了。

这时候,就需要一个短链接,比如把:

text

https://example.com/article?id=12345&source=wechat&utm_campaign=spring_sale

变成

text

https://ex.co/aB3k9

这类短链接简洁美观,易于传播并且可隐藏原始逻辑,用起来还是挺方便的。

哈希 + 编码 = 短码

要生成短链接,关键在于将任意长度的原始 URL 映射为一个固定长度、唯一且紧凑的字符串标识符(即“短码”)。

这里采用两步法:

第一步:哈希

使用非加密型哈希函数(如 MurmurHash)将原始 URL 转换为一个固定长度的整数(通常是 32 位)。
为什么不用 MD5 或 SHA?因为它们输出太长(MD5 是 32 位十六进制字符串),而我们需要的是短

MurmurHash 的优势

  • 高性能:计算速度快,适合高并发场景
  • 均匀分布:冲突率低,保证不同 URL 生成不同哈希值
  • 固定种子:Guava 提供的 murmur3_32_fixed() 使用固定种子,确保跨 JVM、跨机器结果一致
  • 非加密:不用于安全场景,正适合做 ID 生成

第二步:编码

将哈希得到的整数(可能为负数)转换为Base62 字符串。

Base62 是什么?

  • 字符集:0–9(10个) + A–Z(26个) + a–z(26个) = 共 62 个字符
  • 优点:URL 安全(不含 +, /, = 等特殊字符),可直接拼接到域名后
  • 对比 Base64:Base64 含 + 和 /,在 URL 中需转义,不适合做短链

最终流程

text

长 URL → MurmurHash → 32位整数 → 转无符号 long → Base62 编码 → 5~6位短码

核心代码

首先,在 Maven 项目中引入 Google Guava 库(提供了稳定高效的 MurmurHash 实现)

xml

<!-- https://mvnrepository.com/artifact/com.google.guava/guava -->

<dependency>

<groupId>com.google.guava</groupId>

<artifactId>guava</artifactId>

<version>33.5.0-jre</version>

</dependency>

哈希测试,看 MurmurHash 输出什么

java

// import com.google.common.hash.Hashing;

// import java.nio.charset.StandardCharsets;

public static void main(String[] args) {

String url = "https://tse1-mm.cn.bing.net/th/id/OIP-C.wb-bFBTpIZDy_1jcvMY_5QHaE8?w=286&h=191&c=7&r=0&o=7&cb=ucfimg2&dpr=1.1&pid=1.7&rm=3&ucfimg=1";

int hash = Hashing.murmur3_32_fixed()

.hashString(url, StandardCharsets.UTF_8)

.asInt();

System.out.println("hash: " + hash); // 可能为负数,如 -904567778

long unsignedHash = hash & 0xFFFFFFFFL; // 转为无符号 long,如 3390399518

System.out.println("unsignedHash: " + unsignedHash);

}

text

hash: -904567778

unsignedHash: 3390399518

Java 的 int 是有符号的,直接对负数做 Base62 编码会导致错误(比如模运算异常或空字符串),因此须先转为无符号 long

在很多业务中,同一个链接对不同用户可能有不同的行为或权限,就需要对短码进行区分生成,因此可以在生成短码时,将用户唯一标识(如 user_id、设备 ID)与原始 URL 拼接,再进行哈希:

java

create(url + "|" + userId)

因为输入变了,哈希结果就变了,短码自然也不同。

完整代码

带注释,放心抄

java

package io.jiangbyte.app.biz.urls.utils;

import com.google.common.hash.Hashing;

import java.nio.charset.StandardCharsets;

/**

* 1. 使用 Guava 的 Murmur3_32_fixed 哈希算法对输入字符串计算 32 位哈希值

* 2. 将有符号 int 转换为无符号 long(避免负数问题)

* 3. 将该数值使用 Base62 编码(字符集:0-9, A-Z, a-z)输出为紧凑字符串

*/

public class MurmurHashUtils {

/**

* Base62 编码字符集,按标准顺序排列

* - 数字 '0' 到 '9'(10 个)

* - 大写字母 'A' 到 'Z'(26 个)

* - 小写字母 'a' 到 'z'(26 个)

*/

private static final char[] CHARS = buildBase62Chars();

/**

* Base62 的基数,值为 62

* 用于进制转换计算

*/

private static final int BASE = CHARS.length;

/**

* 构建 Base62 字符数组

* 按照标准顺序依次填充数字、大写字母、小写字母

*

* @return 长度为 62 的字符数组,索引即对应数值(如 CHARS[0]='0', CHARS[10]='A')

*/

private static char[] buildBase62Chars() {

char[] chars = new char[62];

int index = 0;

// 填充数字 '0' ~ '9' for (char c = '0'; c <= '9'; c++) {

chars[index++] = c;

}

// 填充大写字母 'A' ~ 'Z' for (char c = 'A'; c <= 'Z'; c++) {

chars[index++] = c;

}

// 填充小写字母 'a' ~ 'z' for (char c = 'a'; c <= 'z'; c++) {

chars[index++] = c;

}

return chars;

}

/**

* 将一个非负长整型数值转换为 Base62 编码字符串

* 不断对 BASE 取模获取最低位字符,再除以 BASE,直到数值为 0, 最后将字符序列反转,得到高位在前的标准表示

*

* @param n 待编码的非负 long 值

* @return Base62 编码后的字符串

*/

private static String base62(long n) {

if (n == 0) {

return "0"; // 特殊情况:0 编码为 "0" }

StringBuilder sb = new StringBuilder();

while (n > 0) {

sb.append(CHARS[(int) (n % BASE)]); // 取模得到当前最低位对应的字符索引

n /= BASE; // 整除进入下一位

}

// 由于是从低位到高位追加,需反转得到正确顺序

return sb.reverse().toString();

}

/**

* 对输入字符串进行哈希并生成 Base62 短字符串。

* 使用 Murmur3_32_fixed 算法(Guava 提供的固定种子版本,保证跨 JVM 一致性)

* 将结果转为无符号 32 位整数,再进行 Base62 编码

*

* @param input 原始输入字符串

* @return Base62 编码的短字符串

*/

public static String create(String input) {

// 使用 UTF-8 编码计算 Murmur3_32 哈希值(固定种子)

int hash = Hashing.murmur3_32_fixed()

.hashString(input, StandardCharsets.UTF_8)

.asInt();

// 将有符号 int 转换为无符号 long(避免负数导致 base62 逻辑异常)

// -1 → 0xFFFFFFFFL = 4294967295

long unsignedHash = hash & 0xFFFFFFFFL;

return base62(unsignedHash);

}

/**

* 生成带用户隔离的短链标识。

* 若提供 userId,则将 URL 与 userId 拼接后再哈希

* 使得同一 URL 对不同用户生成不同短链

* 若 userId 为 null,则退化为普通模式

*

* @param url 原始长链接

* @param userId 用户唯一标识

* @return 用户隔离或通用的 Base62 短字符串

*/

public static String create(String url, String userId) {

if (userId != null) {

// 拼接格式:原始URL + 分隔符 "|" + 用户ID

return create(url + "|" + userId);

} else {

// 无用户隔离,直接哈希原始 URL

return create(url);

}

}

}

测试输出

java

public static void main(String[] args) {

String url = "https://tse1-mm.cn.bing.net/th/id/OIP-C.wb-bFBTpIZDy_1jcvMY_5QHaE8?w=286&h=191&c=7&r=0&o=7&cb=ucfimg2&dpr=1.1&pid=1.7&rm=3&ucfimg=1";

int hash = Hashing.murmur3_32_fixed()

.hashString(url, StandardCharsets.UTF_8)

.asInt();

System.out.println("hash: " + hash); // 有符号 int,逻辑出错,为空

String base62_hash = base62(hash);

System.out.println("base62_hash: " + base62_hash);

long unsignedHash = hash & 0xFFFFFFFFL;

System.out.println("unsignedHash: " + unsignedHash);

String base62_unsignedHash = base62(unsignedHash);

System.out.println("base62_unsignedHash: " + base62_unsignedHash);

System.out.println("create: " + create(url));

System.out.println("create: " + create(url, "1234"));

System.out.println("create: " + create(url, "1234"));

System.out.println("create: " + create(url, "12345"));

}

text

hash: -904567778

base62_hash:

unsignedHash: 3390399518

base62_unsignedHash: 3hRlnC

create: 3hRlnC

create: 4YmoRu

create: 4YmoRu

create: GsQoj


原文链接:https://juejin.cn/post/7585574047075418112

百亿级短链接系统设计:如何用 Redis + MurmurHash 实现高性能的“短网址生成器”? 摘要:本文解析大厂面试常见的短链接系统设计问题,指出传统自增ID方案的缺陷(安全风险和性能瓶颈),提出基于MurmurHash+Base62的工业级解决方案。重点阐述如何通过加盐重算解决哈希冲突,并设计包含布隆过滤器、多级缓存的读写分离架构。文章包含Java核心代码实现,展示MurmurHash32和Base62转换方法,最后讨论百亿级数据下的分库分表策略。这套方案综合考量算法选择、冲突处理和存储架构,适用于高并发场景。(149字) 阅读详情

相关推荐

RT-Thread代码启动过程——以及 $Sub$ $main 与 $Super$ $main

我们找到系统复位的地方,可以往下单步跟踪。 ①从系统初始化开始执行,将函数地址赋给R0寄存器,跳转到R0地址执行并返回此处(BLX是带链接的跳转,即带返回的跳转)。 ②将main函数地址给R0,将函数地址赋给R0,跳转到R0地址执行,不返回(BX是跳转,不返回)。 ③跳转到了$Sub$$main。 【注:在 __CC_ARM 编译器环境下,使用了$Sub$$ 与$Super$ $ 的...

yang1111111112的博客 1万+

hash函数MurmurHash

介绍 原理 优点 使用场景 1、根据uuid,通过hash算法进行取模分库分表 2、

luoqinglong的专栏 3711

若依(RuoYi)项目里,Quartz定时任务踩坑实录:并发控制、事务回滚与异常处理

本文深入解析若依(RuoYi)项目中Quartz定时任务的并发控制、事务回滚与异常处理三大核心问题。通过实战案例揭示@DisallowConcurrentExecution注解的局限性和Redis分布式锁的应用,详细讲解Spring事务集成方案及多数据源事务管理,并提供生产级监控体系搭建指南,帮助开发者规避Quartz在生产环境中的常见陷阱。

weixin_28731223的博客 413

MySql索引深入学习

1.数据库中索引概念 在关系数据库中,索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构,它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。索引的作用相当于图书的目录,可以根据目录中的页码快速找到所需的内容。 2.索引优点和缺点 1>优点 索引可以避免全表扫描,加快查询速度。多数查询可以仅扫描少量索引页及数据页,而不是遍历所有...

spring_root的博客 349

西门子828D/840DSL数控机床产量数据采集实战:一个C#程序员的踩坑与填坑记录

本文详细记录了C#程序员在西门子828D/840DSL数控机床产量数据采集实战中的经验与教训。从硬件连接到软件配置,再到数据读取与异常处理,文章分享了工业现场编程的特殊挑战和解决方案,特别是针对数控系统的TCP/IP通信、PLC变量地址映射及数据解析等关键技术点。

weixin_42741930的博客 596

不用SE63逐个翻译!ABAP函数LXE_OBJ_TEXT_PAIR_WRITE批量处理TCODE描述的3种姿势

本文介绍了三种利用ABAP函数LXE_OBJ_TEXT_PAIR_WRITE批量翻译SAP事务码(TCODE)描述的高效方案,旨在替代SE63逐个翻译的低效操作。内容涵盖从基础循环、Excel导入到全自动程序集成的实现方法,帮助开发者显著提升批量翻译效率,并深入解析了SAP翻译体系的核心原理与实战技巧。

weixin_42593130的博客 660

一致性哈希算法

一致性哈希算法 一. 传统的哈希算法的局限性 要了解一致性哈希算法,就得先了解传统的哈希算法在分布式场景下的局限性。哈希算法就是按键值对的存储,给定一个键,可以做到O(1)的时间复杂度内的数据查找。例如根据学生的学号查找学生的相关的信息。一种简单的存储形式就是以哈希表的形式来存储<code,studentinfo>。 假如某个学校的学生太多了。一台机器上的哈希表已经存储不了。需要使用多台机器来进行存储学生信息,那这时该怎么办呢?这个最简单的办法就是使用哈希取模来确定,计算公式如下 节点编号=h

bug_null的博客 926

TI单芯片毫米波雷达1642代码走读(〇)——总纲

前言 近年来,自动驾驶行业发展如火如荼,雷达技术也逐渐从军工封闭圈走向了开放的市场。 毫米波雷达具有全天候探测能力,特别是在雨雪雾天气以及夜间都能可靠工作,并且探测距离相对其他车载传感器非常远,对运动目标非常敏感,价格还低廉,这些特性都使其成为自动驾驶感知层面不可或缺的一环。 现如今的雷达已经不仅仅局限于测距测速测角等传统的功能,雷达技术正在从感知走向认知、从宽带走向超宽带、从二维走向三维四维、从相控阵走向数字阵列、从单通道走向MIMO、从独立工作走向分布式协同、从分立组件走向射频数字一体化。MIMO

3万+

murmurhash3 学习笔记

背景 由于项目中有报文排重需求,所以会将报文字符串作为分布式锁key。考虑到报文不定长并且散列性不太好,如其作为锁key,特别是当key值过大时,使用redis进行读写都会有相对的性能下降。 参考文献里测试对比: 长度为10:写平均耗时0.053ms,读0.040ms 长度为20000:写平均耗时0.352ms,读0.084ms 一种简单的方案是对报文进...

weixin_34007020的博客 7360

【OpenClaw从入门到精通】第23篇:OpenClaw办公自动化实战—报表生成+文档批量处理+跨系统同步(2026实操进阶版)

本文聚焦OpenClaw在办公自动化场景的进阶应用,针对职场中高频且重复的报表生成、文档批量处理、跨系统数据同步三大痛点,提供从环境搭建、原理讲解到完整代码实现的全流程实操指南。方案基于Python生态工具链(pandas、Playwright、PyPDF2等)与OpenClaw的低代码编排能力,兼顾新手入门与进阶提升——新手可直接复用代码快速落地,进阶读者可学习流程编排逻辑进行二次开发。所有案例均基于真实办公场景设计,部分虚拟场景已明确标注,代码经本地环境验证可复现。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 968

2024年11月架构设计师综合知识真题回顾,附参考答案、解析及所涉知识点(一)

软考高级考试包含三个科目:信息系统综合知识、系统架构设计案例分析和系统架构设计论文。考试形式为机考。本文主要回顾2024年下半年(2024-11-10)系统架构设计师考试上午综合知识科目的选择题,同时附带参考答案、解析和所涉知识点。由于机考时题目顺序是打乱的,本文题目所标序号只为区分不代表实际顺序。综合知识。

一几文的编程学习笔记。 9288

guava hasing使用

Hash里面比较重要的类有:Hashing、HashFunction、Hasher、HashCode、Funnel、PrimitiveSink。

赶路人儿 1310

RK3568/RK3588 + YT 9215交换机芯片,MAC TO MAC 调试记录

原来的方案是rk3568 gmac 直接接phy,phy 接 switch 芯片,只是把交换芯片当交换用,驱动方面基本不用开发,但是要做vlan 那么必须涉及交换芯片的开发。选择裕太微有两个方面的原因:1.国产化替代2.可获得原厂技术支持3.目前已经完成 两个gmac 口交换芯片的配置,实现vlan,内部交换,两个光口可正常通信。

Nyiragongo的博客 1万+

高效生成短链接:利用 MurmurHash 和 Base62 编码的实践指南

MurmurHash是一种非加密的高效哈希函数,由 Austin Appleby 开发。它主要用于哈希表和数据分布等场景。Base62编码是一种将数据压缩成更短字符串的编码方式,它使用 62 个字符:0-9、A-Z 和 a-z。Base62 编码广泛用于生成简短、可读性强的标识符。通过结合使用MurmurHash和Base62编码,我们可以高效生成短链接,解决长 URL 带来的不便。这种方法不仅适用于 URL 缩短,还可以广泛应用于生成唯一标识符和缓存键等场景。

heromps的博客 2178

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

短链接服务核心:用MurmurHash与Base62生成短码的工程实践

短链接服务的本质并非简单的302跳转,而是短码生成算法与工程设计的较量。作为将长URL映射为固定长度短码的关键技术,哈希算法在速度、分布均匀性和确定性上决定了系统的性能与扩展性。MurmurHash凭借极高的计算速度与优良的雪崩效应,成为非加密哈希中的优选;配合Base62编码,可在7位字符内提供3.52万亿组合容量,并实现相同URL短码一致的确定性去重。实际落地中,需通过固定种子、唯一索引兜底、换盐重试等机制应对哈希碰撞,同时兼顾防遍历攻击与高并发读缓存。从社交分享到活动推广,短链接服务广泛应用于各类站外

weixin_32466193的博客 164

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

短链接生成算法深度剖析:SaaS系统中的ID生成策略

短链接技术是现代SaaS系统不可或缺的基础设施,它通过将冗长URL转换为简洁形式,极大提升了用户体验和数据传播效率。GitHub加速计划中的shortlink项目作为一款高性能SaaS短链接系统,其ID生成策略在处理高并发和海量存储场景中展现了卓越的技术实力。本文将深入解析短链接生成的核心算法原理,揭示如何在分布式系统中实现高效、唯一且安全的ID生成机制。 ## 短链接生成的核心挑战 在设计短

gitblog_01054的博客 760

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

短链接的创建---MurmurHash

本文介绍了短链接创建的技术实现方案。核心流程包括:1)使用MurmurHash算法将原始链接转为32位数字;2)通过base62编码转换为短码。文章对比了不同进制方案的优劣,推荐使用58进制提升用户体验。针对可能出现的冲突问题,提出原始链接拼接UUID的解决方案。作者分析了采用哈希处理的原因:统一短码长度和降低碰撞概率。相比MD5等加密算法,MurmurHash在性能和冲突概率方面更具优势,速度约为MD5的10倍。该方案在保证短链接唯一性的同时,兼顾了处理效率和用户体验。

&volume的博客 780

从MD5到MurmurHash:短链接服务短码生成架构实践

哈希函数是后端开发中高频使用的基础技术,从数据分片到缓存键设计都离不开它。在短链接生成场景中,哈希算法的选择直接决定短码的唯一性与系统吞吐能力。传统MD5、SHA-1虽分布均匀,但计算开销大且不支持种子,取前几位易引发碰撞;而非加密哈希MurmurHash以极低CPU开销、优秀雪崩效应和种子机制,成为构建高并发短链接服务的理想方案。通过Base62编码将32位哈希映射为6位短码,配合MongoDB主键存储与Redis缓存,可支撑千万级短码的读写链路。工程实践中还需处理URL规范化、多实例种子一致性、符号位陷

weixin_31220401的博客 306

一文搞定短链设计

短链接是一种将长URL地址转换为较短、易于记忆和分享的链接的技术。它通过使用特定的算法或服务将长链接压缩成更短的形式,以便在限制字符长度或需要更简洁的场景下使用。原始网址:https://juejin.cn/post/7311894381392232499短网址:http://kb.cn/dFz1S。

qq_33228984的博客 1550

Java场景题——让你设计一个短链接系统,怎么设计?(某大厂二面)

从业务价值到技术实现,全面解析短链接系统设计:URL 压缩、流量统计、链接管理、安全防护,打造完整的企业级短链接解决方案。

2501_91188431的博客 1134

JAVA实现生成短链接

JAVA实现生成短链接

州仔 1万+

murmurHash使用方法

murmurhash短链生成

weixin_48242059的博客 899

基于 SpringBoot 开发的在线短链生成系统(附源码)

分享一个基于 SpringBoot 开发的在线短链生成系统,在线短链接生成器。

Java笔记 3080

短链接系统从零实现:发号器、缓存与高并发全链路解析

短链接系统是一种将长URL映射为短码的重定向服务,其本质并非简单的字符串压缩,而是编码算法、存储选型、缓存策略与安全机制的组合工程。在技术实现中,基于发号器生成唯一ID再通过Base62编码得到短码,配合Redis缓存热点映射与MySQL持久化,可以在不影响主链路的前提下支撑高并发访问。实际应用中,短链接广泛用于短信营销、社交分享、渠道投放等场景,同时需要防范恶意遍历与开放重定向风险。一套完整的落地实践涵盖系统模块拆解、核心算法对比、数据层设计、统计埋点与安全加固等环节,从零搭建时减少踩坑的关键正在于此。

weixin_31714129的博客 263

关于知识星球短链接项目的一些面试题

先说"做了什么"(流程)再说"为什么这么做"(设计决策)最后说"有什么坑和优化方向"(深度思考)不要只停留在写过的代码层,要展示你对每个技术选型背后trade-off的理解。面试官想看到的不只是你会用这些工具,而是你知道什么时候用、为什么用、以及用了之后会有什么新的问题需要解决。

Kal_Maggie的博客 501

短链是什么原理?怎么实现呢?

301其实是比较符合HTTP协议语义的,但浏览器会缓存目标网址,下次访问时会直接跳过短链,跳转到目标网址,无法做一些统计,比如短链访问次数等。常用的自增序列算法有雪花算法、Redis自增、MySQL主键自增等,生成唯一ID后,再转换为62进制字符串,转换后的62进制字符串可用作短链。原理还是很简单的,其实就是在后台保存有短链和长链的映射关系,然后进行重定向,让浏览器跳转到对应的长链接。302:浏览器访问时,会先后访问短链代理服务和目标服务,对服务器的压力也就相应大些,但可以做一些统计。

lingbomanbu_lyl的博客 9227
上一篇: Java面试一定会遇到的200个面试题(程序员必备)
下一篇: 2026高频Java八股文面试题库,横扫大厂后端岗
一只幸运猫.
博客等级 码龄1年 10粉丝 83原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值