每个公司都会用的短 URL 服务,怎么设计与实现?

电子邮件系统UML设计 电子邮件系统的UML设计图,包括用例图,时序图,类图,状态图。 立即下载

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 8:55 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:juejin.im/post/5d10ecab518825795a4d380e

  • 前言

  • 短URL基础原理

  • 服务设计

  • 实现


前言

想必大家也经常收到垃圾短信吧...短信中的链接一般都是短链接,类似于下图这样:

为什么这里面的url都是短的呢?有什么好处呢?怎么做到的呢?

短url的好处有:

  1. 短. 短信和许多平台(微博)有字数限制,太长的链接加进去都没有办法写正文了.

  2. 好看. 比起一大堆不知所以的参数,短链接更加简洁友好.

  3. 方便做一些统计.你点了链接会有人记录然后分析的.

  4. 安全. 不暴露访问参数.

这就是为什么我们现在收到的垃圾短信大多数都是短URL的原因了.

那么短URL是怎么做到的呢?

短URL基础原理

短URL从生成到使用分为以下几步.

  1. 有一个服务,将要发送给你的长URL对应到一个短URL上.例如www.baidu.com -> www.t.cn/1

  2. 把短url拼接到短信等的内容上发送.

  3. 用户点击短URL,浏览器用301/302进行重定向,访问到对应的长URL.

  4. 展示对应的内容.

本文主要集中于第一步,即如何将一个长URL对应到短URL上.

服务设计

如果你在往长短URL真实的对应关系上想,那么就走远了.

最理想的情况是: 我们用一种算法,对每一个长URL,唯一的转换成短URL.还能保持反向转换的能力.

但是这是不可能的,如果有这样的算法,世界上的所有压缩算法都可以原地去世了.

正确的思路是建立一个发号器,每次有一个新的长URL进来,我们就增加一,并且将新的数值返回.第一个来的url返回"www.x.cn/0",第二个返回"www.x.cn/1".

接下来以QA形式写几个小问题:

对应关系如何存储?

这个对应数据肯定是要落盘的,不能每次系统重启就重新排号,所以可以采用mysql等数据库来存储.而且如果数据量小且qps低,直接使用数据库的自增主键就可以实现.

如何保证长短链接一一对应?

按照上面的发号器策略,是不能保证长短链接的一一对应的,你连续用同一个URL请求两次,结果值都是不一样的.

为了实现长短链接一一对应,我们需要付出很大的空间代价,尤其是为了快速响应,我们可以需要在内存中做一层缓存,这样子太浪费了.

但是可以实现一些变种的,来实现部分的一一对应, 比如将最近/最热门的对应关系存储在K-V数据库中,这样子可以节省空间的同时,加快响应速度.

短URL的存储

我们返回的短URL一般是将数字转换成32进制,这样子可以更加有效的缩短URL长度,那么32进制的数字对计算机来说只是字符串,怎么存储呢?直接存储字符串对等值查找好找,对范围查找等太不友好了.

其实可以直接存储10进制的数字,这样不仅占用空间少,对查找的支持较好,同时还可以更加方便的转换到更多/更少的进制来进一步缩短URL.

高并发

如果直接存储在MySQL中,当并发请求增大,对数据库的压力太大,可能会造成瓶颈,这时候是可以有一些优化的.

缓存

上面保证长短链接一一对应中也提到过缓存,这里我们是为了加快程序处理速度.可以将热门的长链接(需要对长链接进来的次数进行计数),最近的长链接(可以使用redis保存最近一个小时的)等等进行一个缓存,保存在内存中或者类似redis的内存数据库中,如果请求的长URL命中了缓存,那么直接获取对应的短URL进行返回,不需要再进行生成操作.

批量发号

每一次发号都需要访问一次MySQL来获取当前的最大号码,并且在获取之后更新最大号码,这个压力是比较大的.

我们可以每次从数据库获取10000个号码,然后在内存中进行发放,当剩余的号码不足1000时,重新向MySQL请求下10000个号码.在上一批号码发放完了之后,批量进行写入.

这样可以将对数据库持续的操作移到代码中进行,并且异步进行获取和写入操作,保证服务的持续高并发.

分布式

上面设计的系统是有单点的,那就是发号器是个单点,容易挂掉.

可以采用分布式服务,分布式的话,如果每一个发号器进行发号之后都需要同步给其他发号器,那未必也太麻烦了.

换一种思路,可以有两个发号器,一个发单号,一个发双号,发号之后不再是递增1,而是递增2.

类比可得,我们可以用1000个服务,分别发放0-999尾号的数字,每次发号之后递增1000.这样做很简单,服务互相之间基本都不用通信,做好自己的事情就好了.

实现

由于我懒得写JDBC代码,更懒得弄Mybatis,所以代码中使用到MySQL的地方都使用了Redis.

package util;

import redis.clients.jedis.Jedis;

/**
 * Created by pfliu on 2019/06/23.
 */
public class ShortUrlUtil {


    private static final String SHORT_URL_KEY = "SHORT_URL_KEY";
    private static final String LOCALHOST = "http://localhost:4444/";
    private static final String SHORT_LONG_PREFIX = "short_long_prefix_";
    private static final String CACHE_KEY_PREFIX = "cache_key_prefix_";
    private static final int CACHE_SECONDS = 1 * 60 * 60;

    private final String redisConfig;
    private final Jedis jedis;

    public ShortUrlUtil(String redisConfig) {
        this.redisConfig = redisConfig;
        this.jedis = new Jedis(this.redisConfig);
    }

    public String getShortUrl(String longUrl, Decimal decimal) {
        // 查询缓存
        String cache = jedis.get(CACHE_KEY_PREFIX + longUrl);
        if (cache != null) {
            return LOCALHOST + toOtherBaseString(Long.valueOf(cache), decimal.x);
        }

        // 自增
        long num = jedis.incr(SHORT_URL_KEY);
        // 在数据库中保存短-长URL的映射关系,可以保存在MySQL中
        jedis.set(SHORT_LONG_PREFIX + num, longUrl);
        // 写入缓存
        jedis.setex(CACHE_KEY_PREFIX + longUrl, CACHE_SECONDS, String.valueOf(num));
        return LOCALHOST + toOtherBaseString(num, decimal.x);
    }

    /**
     * 在进制表示中的字符集合
     */
    final static char[] digits = {'0', '1', '2', '3', '4', '5', '6', '7', '8',
            '9', 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J', 'K', 'L',
            'M', 'N', 'O', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y',
            'Z', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z'};

    /**
     * 由10进制的数字转换到其他进制
     */
    private String toOtherBaseString(long n, int base) {
        long num = 0;
        if (n < 0) {
            num = ((long) 2 * 0x7fffffff) + n + 2;
        } else {
            num = n;
        }
        char[] buf = new char[32];
        int charPos = 32;
        while ((num / base) > 0) {
            buf[--charPos] = digits[(int) (num % base)];
            num /= base;
        }
        buf[--charPos] = digits[(int) (num % base)];
        return new String(buf, charPos, (32 - charPos));
    }

    enum Decimal {
        D32(32),
        D64(64);

        int x;

        Decimal(int x) {
            this.x = x;
        }
    }


    public static void main(String[] args) {

        for (int i = 0; i < 100; i++) {
            System.out.println(new ShortUrlUtil("localhost").getShortUrl("www.baidudu.com", Decimal.D32));
            System.out.println(new ShortUrlUtil("localhost").getShortUrl("www.baidu.com", Decimal.D64));
        }
    }
}


完。



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

已在知识星球更新源码解析如下:

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 20 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

兄弟,艿一口,点个赞!????

java-springBoot-Mail 完整服务架构-邮箱项目_java微服务架构 基于springBoot 开发的完整的邮箱客户端系统 ; 资源里包括以下内容: 一、源码类 1)springboot 实现的三层架构源码 & 微服务 二、文档类 1)Mysql - 数据库表初始化脚本 2)技术实现流程架构图 3)项目介绍文档等 主要功能包括 1)账号配置支持主流协议,如(IMAP、SMTP、POP3) 2)配置账号成功后,1)默认拉取该账号30天内历史邮件 2)启动新线程监听未来新邮件 3)实现了签名、草稿箱、发件箱功能 4)写信的时候,支持各种格式 5)收信的时候,支持与邮箱服务器交互,如设置已读未读,彻底删除等 6) 其他扩展小功能等 立即下载

相关推荐

coreldraw sp2精简版 x4_CorelDRAW X4下载-CorelDRAW X4 SP2 精简版_Win10镜像官网

CorelDRAW X4 SP2是一个专业图形设计软件,专用于矢量图形编辑与排版,借助其丰富的内容和专业图形设计、照片编辑和网站设计软件,您将能够随心所欲地表达自己的风格与创意,轻松创作徽标标志、广告标牌、车身贴和传单、模型绘制、插图描画、排版及分色输出等。CorelDRAW X4 SP2软件特色CorelDraw X4 相比两年前的 CorelDraw X3 加入了大量新特性,总计有50项以上,...

weixin_30346025的博客 8915

短 URL 服务的设计与实现

转载: https://mp.weixin.qq.com/s/DJM7KFFfgZ2AgfrrYHXSzQ 短url的好处有: 短. 短信和许多平台(微博)有字数限制,太长的链接加进去都没有办法写正文了. 好看. 比起一大堆不知所以的参数,短链接更加简洁友好. 方便做一些统计.你点了链接会有人记录然后分析的. 安全. 不暴露访问参数. 这就是为什么我们现...

qiang_zi_的专栏 966

避开ns-3学习深坑:用sns3模块快速搭建GEO卫星通信仿真(附GitHub代码解读)

本文介绍了如何使用sns3模块快速搭建GEO卫星通信仿真环境,绕过复杂的ns-3底层细节。通过详细的Linux环境配置、sns3模块安装和示例代码解读,帮助开发者快速上手卫星通信仿真,并提供了常见问题的解决方案和性能优化技巧。

weixin_28720573的博客 441

充分了解UML类图

UML(Unified Modeling Language)统一建模语言 由于UML类图的精确、无歧义、完整的建模,通常我们通过使用UML类图来详细的描述系统中的对象和他们的关系。认识UML类图也能帮助我们快速了解、理清系统中对象之间的关系 类图表示方式 在UML类图中,包含类名、属性和方法三块如下图所示,包含了name、age、email三个属性以及方法userInfo() 属性和方法前面的符号表示了可见性,UML类图中表示可见性的符号如下 + : 表示public - : 表示private #

kaituozhe_sh的博客 383

百度智能云ASR实战:5分钟搞定Unity语音转文字(含完整代码)

本文详细介绍了如何在Unity中集成百度智能云ASR服务,实现高效的语音转文字功能。从环境配置、音频处理到服务端通信,提供完整代码示例和实战优化技巧,帮助开发者快速实现语音交互功能,适用于游戏开发、XR应用等场景。

ujm56789012的博客 216

TP4056在单节锂电池充电管理中的创新应用与电路优化

本文深入探讨了TP4056线性充电管理芯片在单节锂电池充电电路中的创新应用与优化方案。针对“边充边用”的核心挑战,文章详细解析了利用PMOS管构建智能供电切换电路的原理,实现了外部电源与电池供电的无缝、安全切换,有效杜绝了电池“边充边放”的风险。同时,提供了关键的元器件选型、PCB布局布线技巧及常见问题排查指南,为创客和硬件开发者提供了高性价比、高可靠性的锂电池电源管理实践方案。

rock5的博客 501

带你轻松搞定UML类图

什么是UML类图 UML类图即是一种表现类与类之间关系的一种示意图,由于java是一种面向对象的语言,且万物皆对象,因此对象与对象之间,类与类之间,总是存在的某种不清不楚,不明不白的联系,类图就是一种可以让我们一眼看清这种复杂联系的简单示意图(其实一点都不简单~~~),然而面对复杂的各种符号,可能很多人摸不着头脑,比如下面一张图,很生动的表示了一些类之间的关系,可能第一次看会有点一脸懵逼,似懂非懂的感觉,然而看完本篇的讲解,再回过头来看这张图,肯定会有一目了然的感觉。 单个类的符号含义 -表示priva

倔强100%的博客 1048

java modbus通讯协议_Modbus通 讯 协 议

电磁流量计Modbus通 讯 协 议(版本号:9000-K V9.1.1)2020年01月01日通讯协议针对KFD电磁流量计工业应用设计,版本:9000-K V9.1.1,该版本主要用于实时数据采集、流量测量、流量累计控制及部分参数的修改。一、主机系统通讯部件要求1.国际标准RS-485通讯接口部件,不小于11Bytes 的通信缓冲区(FIFO),支持1200、2400、4800、96...

weixin_39956612的博客 1012

UML 基础:类图

关于UML 2中结构图的介绍级别: 高级Donald BellIBM 全球服务, IBM2005 年 2 月 15 日来自Rational Edge:在 UML 2 中,作为新结构图类型的最重要实例,类图可以在整个软件开发生命周期中,被分析师,业务建模人员,开发者和测试者使用的。本文提供了全面的介绍。 这是关于统一建模语言、即UML 里采用的基本图的一系列文章的一部分。在我 先前关于序列图的文章

樱吹雪 3376

**YOLOv11性能突破:基于YOLOv10-PSA注意力机制的目标检测革命性升级**

购买即可解锁300+YOLO优化文章,并且还有海量深度学习复现项目,价格仅需两杯奶茶的钱,别人有的本专栏也有!

m0_71589036的博客 199

【第24例】华为 IPD 体系 | RMT 需求管理团队

RMT需求管理团队

产品线负责人 1770

两片74161实现60进制_每个公司都会用的短 URL 服务,怎么设计与实现?

点击上方“方志朋”,选择“设为星标”做积极的人,而不是积极废人来源:http://t.cn/AilftMhR前言短URL基础原理服务设计实现前言想必大家也经常收到垃圾短信吧...短信中的链接一般都是短链接,类似于下图这样:2019-06-23-23-46-53为什么这里面的url都是短的呢?有什么好处呢?怎么做到的呢?短url的好处有:短. 短信和许多平台(微博)有字数限制,太长的链接加...

weixin_29450147的博客 135

ImportError: cannot import name ‘is_torch_npu_available‘ from ‘transformers.utils‘解决方案

本文主要介绍了ImportError: cannot import name ‘is_torch_npu_available’ from 'transformers.utils’解决方案,希望能对使用transformers的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案

weixin_43178406的博客 4万+

jfinal获取url链接上面传来的string类型的值_每个公司都会用的短 URL 服务,怎么设计与实现?...

点击上方“芋道源码”,选择“设为星标”管她前浪,还是后浪?能浪的浪,才是好浪!每天 8:55 更新文章,每天掉亿点点头发...源码精品专栏原创 | Java 2020 超神之路,很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析消息中间件 RocketMQ 源码解析数据库中间件 Sharding-JDBC 和 MyCAT 源码解析作业调度中...

weixin_39844942的博客 123

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

百度短链接次数用完要收费:Java程序员一怒之下自己设计与实现短URL服务(附思路代码)

百度短链接次数用完要收费:Java程序员一怒之下自己设计与实现短URL服务(附思路代码)想必大家也经常收到垃圾短信吧…短信中的链接一般都是短链接,类似于下图这样的: 我自己也整理了很多家公司的面试真题(都整理成文档),有很多干货,包含netty,spring,线程,spring cloud等详细讲解,也有详细的学习规划图,面试题整理等,我感觉在面试这块讲的非常清楚:获取面试资料只需:点击这里领取!!!暗号:优快云 为什么这里面的URL都是短的呢?有什么好处呢?怎么做到的呢? 短URL的好处 短信和许多平台

weixin_50917449的博客 2462

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

如何设计百亿短URL生成器

设计一个短URL生成器主要有两个功能: 1、将原始URL缩减为短URL 2、将原始URL与短URL映射到一起

weixin_42501031的博客 509

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

IE 短 URL 生成器设计详解

在社交平台公司面试中,可能会遇到 “如何设计 IE 短 URL 生成器” 这样的问题。短 URL 在我们的日常生活中应用广泛,如运营商、购物平台等的活动通知中,短信里的链接通常较短,点击后会变成我们通常访问的长链接。下面我们来一起探讨短 URL 生成器的设计原理及实现。

m0_57836225的博客 1308

设计一款高效的短链服务系统

本文系统介绍了短链系统的设计与实现,重点解决长URL在传播中的可读性、安全性和可追踪性问题。设计上采用分布式ID+Base62编码生成唯一短码,通过Redis缓存和数据库存储映射关系,支持高并发跳转。系统实现了短链创建、302跳转、访问统计和过期机制,并针对安全性提出防穷举和限流策略。技术选型基于SpringBoot框架,结合异步处理、CDN边缘计算等优化手段,兼顾性能和扩展性。文章最后强调短链系统的核心价值在于提升用户体验和运营效率,而非单纯技术实现。

weixin_50055999的博客 1816

高性能短链服务设计

前言 今天,我们来谈谈如何设计一个高性能短链系统,短链系统设计看起来很简单,但每个点都能展开很多知识点,也是在面试中非常适合考察侯选人的一道设计题,本文将会结合我们生产上稳定运行两年之久的高性能短链系统给大家简单介绍下设计这套系统所涉及的一些思路,希望对大家能有一些帮助。 本文将会从以下几个方面来讲解,每个点包含的信息量都不少,相信大家看完肯定有收获 短链有啥好处,用长链不香吗 短链跳转的基本原...

稻草人技术博客 1271

艺术~为减少字符设计的短URL服务

设计原因 之前需要写一个告警服务,告警需要一短信的方式通知对方,并且在短信中要给到监控报告的URL地址, 但是发送短信需要调用三大运营商的接口,短信息有字数限制的,发送一条短信最多七十个字,160个英文或数字字符,或者70个中文字符,也就说,你每次发信息,你发送超过70字的短信是按2条记费的,超过140个字按3条记费,依次类推。 设计好处 减少短信内容,为公司降低开销 好看。 比起一大堆不知所以的参数,短链接更加简洁友好。 安全。 不暴露访问参数。 核心原理 其实本质就是把长的url做一个映射, 变成

Shangxingya的博客 272

如何设计一个短链服务?

本文首先讲了短链存在的三个价值:简洁、易于使用、节省成本,接着讲了短链的原理是 HTTP 重定向,最后着重讲了短链服务的设计思路。在短链服务的设计思路上,最重要是解决两个问题:根据长链生成短链、根据短链找到长链。在根据长链生成短链的思路上,我们讲了两种实现思路,分别是:哈希算法生成短链、分布式全局 ID 生成短链,其中哈希算法涉及到哈希算法的选择,以及哈希冲突的处理。最后我们还列举了一些短链服务后续可能的优化点,包括:如何让网址变得更短、索引优化、增加热点数据、读写分离、分库分表、防止恶意攻击等等。

m0_73311735的博客 344

深入理解短链服务:原理、设计与实现全解析

短链服务虽小,但背后蕴含了诸多系统设计考量。无论是哈希策略、发号器设计、存储方案还是跳转方式,都是构建高可用、高性能服务的重要组成部分。一个设计合理的短链系统,不仅能提升用户体验,也能为业务带来关键数据支持。

Dc253061007的博客 1377

短URL系统是怎么设计的?

本文对短链设计方案作了详细地剖析,旨在给大家提供几种不同的短链设计思路,文中涉及到挺多像布隆过滤器,openRestry 等技术,文中没有展开讲,建议大家回头可以去再详细了解一下。再比如文中提到的 Mysql 页分裂也需要对底层使用的 B+ tree 数据结构,操作系统按页获取等知识有比较详细地了解,相信大家各个知识点都吃透后会收获不小。完!原文链接:c25。

科技互联网领域深度探索者,乐于分享与写作。 380

NestJS实战之开发短链服务(一)

其中,(老实说,我觉得这个域名已经一点儿都不短了,😄)就是它的域名,ijp8qWLE就是这个所谓的有意义的标识码。当我们访问服务的时候,如果服务器拿到这个有意义的标识码,在数据库能查到对应关联的最终跳转地址,此刻,服务端返回一个状态码为302的重定向码(为什么是302而不是301?

gaotlantis的博客 1242
上一篇: 谷歌再推 Kotlin:代码量减少 80%
下一篇: 为什么阿里巴巴规定禁止超过三张表 join?
公众号-芋道源码
博客等级 码龄10年 1637粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值