shortURL短地址压缩算法

最新推荐文章于 2021-04-18 22:37:30 发布

JieFeiLau

最新推荐文章于 2021-04-18 22:37:30 发布

阅读量1.6k

点赞数

分类专栏：数据结构与算法

本文链接：https://blog.youkuaiyun.com/u014028063/article/details/84338487

版权

数据结构与算法专栏收录该内容

24 篇文章

订阅专栏

我们在QQ微博上发布网址的时候，微博会自动判别网址，并将其转换，例如：http://url.cn/2hytQx

现在让你来设计TinyURL的实现，以下问题要怎么设计：
(1)：域名后面的编码如何实现?
(2)：对于已经映射过的一个URL，怎么查找已存在的TinyUrl?
(3)：有10亿个url，一个服务上存不下，需要多台服务器，怎么设计实现
(4)：让你来设计这样一个服务，最大的问题是什么?

答案：

（2）直接key-value存储查询
(3)：二次哈希，根据ak78ss这样的值映射到不同机器上，hash或者字母序层次下去
(4)：查询速度？响应时间？还有过期的url在浪费存储空间？

（1）为什么要这样做的，原因我想有这样几点：

微博限制字数为140字一条，那么如果我们需要发一些连接上去，但是这个连接非常的长，以至于将近要占用我们内容的一半篇幅，这肯定是不能被允许的，所以短网址应运而生了。
短网址可以在我们项目里可以很好的对开放级URL进行管理。有一部分网址可以会涵盖色情，暴力，广告等信息，这样我们可以通过用户的举报，完全管理这个连接将不出现在我们的应用中，应为同样的URL通过加密算法之后，得到的地址是一样的。
我们可以对一系列的网址进行流量，点击等统计，挖掘出大多数用户的关注点，这样有利于我们对项目的后续工作更好的作出决策。

其实以上三点纯属个人观点，因为在我接下来的部分项目中会应用到，所以就了解了一下，

实现shortURL思路如下：

一种是把真实网址存数据库，然后取自增id，做个哈希或者进制转换之类的，生成短网址，用的时候查一下就行了；

另一种是直接真实网址哈希然后截取特定位数，6位的话（26+26+10）^6种组合，应该够用了，实在不行再做一次碰撞检测

第二种的思路可以如下参考

MD5抽样，唯一ID+BASE62。

下面先来看看MD5：

将长网址md5生成32位签名串，分为4段，每段8个字节；
对这四段循环处理，取8个字节，将他看成16进制串与0x3fffffff(30位1)与操作，即超过30位的忽略处理；
这30位分成6段，每5位的数字作为字母表的索引取得特定字符，依次进行获得6位字符串；
总的md5串可以获得4个6位串；取里面的任意一个就可作为这个长url的短url地址；

很简单的理论，我们并不一定说得到的URL是唯一的，但是我们能够取出4组URL，这样几乎不会出现太大的重复。

首先，请大家了解在Java中如何用MD5来加密字符串得到32位的加密后的字符串，下面是我已经封装好的Java MD5算法：

private final static String[] hexDigits = {
      "0", "1", "2", "3", "4", "5", "6", "7", 
      "8", "9", "a", "b", "c", "d", "e", "f"}; 

    public static String byteArrayToHexString(byte[] b){
        StringBuffer resultSb = new StringBuffer();
        for (int i = 0; i < b.length; i++){
            resultSb.append(byteToHexString(b[i]));
        }
        return resultSb.toString();
    }

    private static String byteToHexString(byte b){
        int n = b;
        if (n < 0)
            n = 256 + n;
        int d1 = n / 16;
        int d2 = n % 16;
        return hexDigits[d1] + hexDigits[d2];
    }

    public static String MD5Encode(String origin){
        String resultString = null;
            try {
                
                resultString=new String(origin);
                MessageDigest md = MessageDigest.getInstance("MD5");
                
                resultString.trim();

                resultString=byteArrayToHexString(md.digest(resultString.getBytes("UTF-8")));
            }catch (Exception ex){}
            return resultString;
        }

    public static void main(String[] args) 
    {
    
        String data = "189022881112011111118:09sz0000123456789987654321";
        System.out.println(MD5Encode(data));
    }

public class ShortUrl { 
    public static void main(String[] args) { 
        String url = "http://www.sunchis.com"; 
        for (String string : ShortText(url)) { 
            print(string); 
        } 
    } 
     
    public static String[] ShortText(String string){ 
        String key = "XuLiang";                 //自定义生成MD5加密字符串前的混合KEY 
        String[] chars = new String[]{          //要使用生成URL的字符 
            "a","b","c","d","e","f","g","h", 
            "i","j","k","l","m","n","o","p", 
            "q","r","s","t","u","v","w","x", 
            "y","z","0","1","2","3","4","5", 
            "6","7","8","9","A","B","C","D", 
            "E","F","G","H","I","J","K","L", 
            "M","N","O","P","Q","R","S","T", 
            "U","V","W","X","Y","Z" 
        }; 
         
        String hex = MD5Encode(key + string); 
        int hexLen = hex.length(); 
        int subHexLen = hexLen / 8; 
        String[] ShortStr = new String[4]; 
         
        for (int i = 0; i < subHexLen; i++) { 
            String outChars = ""; 
            int j = i + 1; 
            String subHex = hex.substring(i * 8, j * 8); 
            long idx = Long.valueOf("3FFFFFFF", 16) & Long.valueOf(subHex, 16); 
             
            for (int k = 0; k < 6; k++) { 
                int index = (int) (Long.valueOf("0000003D", 16) & idx); 
                outChars += chars[index]; 
                idx = idx >> 5; 
            } 
            ShortStr[i] = outChars; 
        } 
         
        return ShortStr; 
    } 
     
    private static void print(Object messagr){ 
        System.out.println(messagr); 
    } 
}

下面来看看程序部分：现在可以直接使用ShortText(url)方法，可以等到下面四组值：

ShortText("http://www.sunchis.com")[0];  //得到值:Jzyqma 
ShortText("http://www.sunchis.com")[1];  //得到值:QBrMzm 
ShortText("http://www.sunchis.com")[2];  //得到值:bQreM3 
ShortText("http://www.sunchis.com")[3];  //得到值:VNBRna

选取结果中四个值的任何一个值即可作为URL对应生成的短网址了。

不用第三个参数调换整数a和b

要用异或操作符来做：

a = a^b;
b = a^b;
a = a^b;

然后用a= 101,b = 111测试了一下，根据上面操作a = 010;b = 101; a = 111正确。

问：堆栈区别

说了一下四点：

1）栈是连续的，堆是不连续的；2）栈元素自动释放，堆元素要手动释放；3）栈从高地址开始存储向下增长，堆相反；4）存储读取效率上栈比堆快。