JAVA实现空间索引编码（GeoHash）

最新推荐文章于 2024-11-06 07:37:02 发布

天边tbdp

最新推荐文章于 2024-11-06 07:37:02 发布

阅读量518

点赞数

分类专栏： java

java 专栏收录该内容

56 篇文章

订阅专栏

转载请注明出处：http://blog.youkuaiyun.com/xiaojimanman/article/details/50358506

http://www.llwjy.com/blogdetail/95468c5334d1c3fe52ae2149abfb0da0.html

个人博客站已经上线了，网址 www.llwjy.com ~欢迎各位吐槽~

-------------------------------------------------------------------------------------------------

之前自己在做基于Lucene的内容检索过程中，了解到Lucene可以实现对文本信息，数值信息的内容检索，对于空间距离好像并为为源码中实现；最近半年自己接触到Solr，里面有一个空间距离检索（经纬度），最近对其中的实现做了下学习，了解到在实现空间距离检索的有一个比较常用的技术——GeoHash，下面就介绍下GeoHash。

GeoHash特点

1）GeoHash用一个字符串表示经度和纬度两个坐标，比如我现在所在位置的GeoHash值为 wx4sv61q；

2）GeoHash标识的并不是一个点，而是一个区域，比如 wx4sv61q 对应的就是一个矩形区域；

3）编码的前缀可以标识更大的区域，比如 wx4sv61 编码代表的区域要大于 wx4sv61q 代表的区域，但是 wx4sv61q 代表的区域一定在 wx4sv61 代表的区域内。

因此我们再去做距离检索的时候，只需要对GeoHash进行前缀匹配即可，具体的原因在后面内容进行介绍。

GeoHash原理

GeoHash最简单的解释就是将一个位置信息转化成一个可以排序、可以比较的字符串编码。下面就详细介绍以下其实现过程：

维基百科对GeoHash的介绍：https://en.wikipedia.org/wiki/Geohash

首先我们将纬度(-90, 90)平均分成两个区间(-90, 0)、(0, 90)，如果坐标位置的纬度值在第一区间，则编码是0，否则编码为1。我们用 40.222012 举例，由于40.222012 属于 (0, 90)，所以编码为1，然后我们继续将(0, 90)分成(0, 45)、(45, 90)两个区间，而40.222012 位于(0, 45)，所以编码是0，依次类推，我们进行20次拆分，最后计算40.222012 的编码是 10111001001101000110。

对于经度采用同样的的方法，得到 116.248283 的编码是 11010010101010100101。

接下来我们对经纬度的编码合并，奇数为是纬度，偶数为是经度，得到的编码是 1110011101001001100011011001100000110110（这里需要特别注意，这里说的奇数、偶数是值数组的下标，从0开始的）；

最后用base32编码，二进制串对应的十进制分别为 28, 29, 4, 24, 27, 6, 1, 22，转化为base32是wx4sv61q，因此就得到(40.222012, 116.248283) 的编码为 wx4sv61q。（下图介绍了base32的对应关系）

编码 wx4sv61q 在地图上对应的位置如下图：

这里我们GeoHash的编码长度为8，这时精度在19米，下表列出了不同的编码长度对应的精度：

由上面的精度可知，如果要选取和我(40.222012, 116.248283)相距2km内的物品，我们只需要查找物品坐标对应的GeoHash以wx4sv为前缀的即可。

GeoHash延伸

到目前为止我们对空间索引有了一定的了解，但是上面介绍的内容对下面的一种情况就无法实现（下面这幅图出自他人的博客）：

我们从图中可以看出，红点与上方的绿点距离较近，与下方的绿点距离较远，但是红点与下方的绿点的编码字符串一样，都是wx4g0。对于GeoHash这种边界问题解决思路也十分简单，我们在做检索或者查询的时候，对周围的八个区域进行匹配，这样就很好的解决了边界问题。下面我们就对GeoHash用java进行实现。

JAVA实现

在实现之前，我们首先定义一个LocationBean，用它来表示经纬度信息：

 
   [java]  
   view plaincopy
 /**   
 *@Description: 存储经纬度信息    
 */   
package com.lulei.geo.bean;    
    
public class LocationBean {  
    public static final double MINLAT = -90;  
    public static final double MAXLAT = 90;  
    public static final double MINLNG = -180;  
    public static final double MAXLNG = 180;  
    private double lat;//纬度[-90,90]  
    private double lng;//经度[-180,180]  
      
    public LocationBean(double lat, double lng) {  
        this.lat = lat;  
        this.lng = lng;  
    }  
    public double getLat() {  
        return lat;  
    }  
    public void setLat(double lat) {  
        this.lat = lat;  
    }  
    public double getLng() {  
        return lng;  
    }  
    public void setLng(double lng) {  
        this.lng = lng;  
    }  
}  

然后我们编写一个类，来实现GeoHash，在实现GeoHash的过程中，我们需要用定义一些常量以及经纬度信息，具体如下：

 
   [java]  
   view plaincopy
public class GeoHash {  
    private LocationBean location;  
    /** 
     * 1 2500km;2 630km;3 78km;4 30km 
     * 5 2.4km; 6 610m; 7 76m; 8 19m 
     */  
    private int hashLength = 8; //经纬度转化为geohash长度  
    private int latLength = 20; //纬度转化为二进制长度  
    private int lngLength = 20; //经度转化为二进制长度  
      
    private double minLat;//每格纬度的单位大小  
    private double minLng;//每个经度的倒下  
    private static final char[] CHARS = {'0', '1', '2', '3', '4', '5', '6', '7',   
                '8', '9', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'j', 'k', 'm', 'n',   
                'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z'};  
}  

在GeoHash实例化时，我们需要对一些属性进行赋值：

 
   [java]  
   view plaincopy
public GeoHash(double lat, double lng) {  
    location = new LocationBean(lat, lng);  
    setMinLatLng();  
}  
  
public int gethashLength() {  
    return hashLength;  
}  
  
/** 
 * @Author:lulei   
 * @Description: 设置经纬度的最小单位 
 */  
private void setMinLatLng() {  
    minLat = LocationBean.MAXLAT - LocationBean.MINLAT;  
    for (int i = 0; i < latLength; i++) {  
        minLat /= 2.0;  
    }  
    minLng = LocationBean.MAXLNG - LocationBean.MINLNG;  
    for (int i = 0; i < lngLength; i++) {  
        minLng /= 2.0;  
    }  
}  

我们在使用GeoHash的时候，需要设置最终编码的长度，因此编写一个方法实现对GeoHash长度的设置

 
   [java]  
   view plaincopy
public boolean sethashLength(int length) {  
    if (length < 1) {  
        return false;  
    }  
    hashLength = length;  
    latLength = (length * 5) / 2;  
    if (length % 2 == 0) {  
        lngLength = latLength;  
    } else {  
        lngLength = latLength + 1;  
    }  
    setMinLatLng();  
    return true;  
}  

有了这些设置之后，我们需要将经度、纬度转化为对应的二进制编码

 
   [java]  
   view plaincopy
private boolean[] getHashArray(double value, double min, double max, int length) {  
    if (value < min || value > max) {  
        return null;  
    }  
    if (length < 1) {  
        return null;  
    }  
    boolean[] result = new boolean[length];  
    for (int i = 0; i < length; i++) {  
        double mid = (min + max) / 2.0;  
        if (value > mid) {  
            result[i] = true;  
            min = mid;  
        } else {  
            result[i] = false;  
            max = mid;  
        }  
    }  
    return result;  
}  

分别获取经纬度的二进制编码后，我们需要将两个二进制字符串合并成一个

 
   [java]  
   view plaincopy
private boolean[] merge(boolean[] latArray, boolean[] lngArray) {  
    if (latArray == null || lngArray == null) {  
        return null;  
    }  
    boolean[] result = new boolean[lngArray.length + latArray.length];  
    Arrays.fill(result, false);  
    for (int i = 0; i < lngArray.length; i++) {  
        result[2 * i] = lngArray[i];  
    }  
    for (int i = 0; i < latArray.length; i++) {  
        result[2 * i + 1] = latArray[i];  
    }  
    return result;  
}  

最后我们需要将获得的二进制转进行base32转化

 
   [java]  
   view plaincopy
/** 
 * @param lat 
 * @param lng 
 * @return 
 * @Author:lulei   
 * @Description: 获取经纬度的base32字符串 
 */  
private String getGeoHashBase32(double lat, double lng) {  
    boolean[] bools = getGeoBinary(lat, lng);  
    if (bools == null) {  
        return null;  
    }  
    StringBuffer sb = new StringBuffer();  
    for (int i = 0; i < bools.length; i = i + 5) {  
        boolean[] base32 = new boolean[5];  
        for (int j = 0; j < 5; j++) {  
            base32[j] = bools[i + j];  
        }  
        char cha = getBase32Char(base32);  
        if (' ' == cha) {  
            return null;  
        }  
        sb.append(cha);  
    }  
    return sb.toString();  
}  
  
/** 
 * @param base32 
 * @return 
 * @Author:lulei   
 * @Description: 将五位二进制转化为base32 
 */  
private char getBase32Char(boolean[] base32) {  
    if (base32 == null || base32.length != 5) {  
        return ' ';  
    }  
    int num = 0;  
    for (boolean bool : base32) {  
        num <<= 1;  
        if (bool) {  
            num += 1;  
        }  
    }  
    return CHARS[num % CHARS.length];  
}  

对于如何获取周围八个区域的GeoHash值这个问题我们可以做如下转化，我们已经知道当前点的经纬度值，我们也知道每一个区域内的经度、纬度的宽度，如果经度加上或减去这个宽度，我们就可以位于该区域左侧和右侧区域的经度，如果纬度加上或减去这个宽度，我们就可以获取该区域上部和下部的纬度，这样我们就可以分别获取到该区域周围八个区域内的一个点的坐标，我们分别计算这八个点的坐标，也就是八个区域对应的GeoHash编码。

 
   [java]  
   view plaincopy
public List<String> getGeoHashBase32For9() {  
    double leftLat = location.getLat() - minLat;  
    double rightLat = location.getLat() + minLat;  
    double upLng = location.getLng() - minLng;  
    double downLng = location.getLng() + minLng;  
    List<String> base32For9 = new ArrayList<String>();  
    //左侧从上到下 3个  
    String leftUp = getGeoHashBase32(leftLat, upLng);  
    if (!(leftUp == null || "".equals(leftUp))) {  
        base32For9.add(leftUp);  
    }  
    String leftMid = getGeoHashBase32(leftLat, location.getLng());  
    if (!(leftMid == null || "".equals(leftMid))) {  
        base32For9.add(leftMid);  
    }  
    String leftDown = getGeoHashBase32(leftLat, downLng);  
    if (!(leftDown == null || "".equals(leftDown))) {  
        base32For9.add(leftDown);  
    }  
    //中间从上到下 3个  
    String midUp = getGeoHashBase32(location.getLat(), upLng);  
    if (!(midUp == null || "".equals(midUp))) {  
        base32For9.add(midUp);  
    }  
    String midMid = getGeoHashBase32(location.getLat(), location.getLng());  
    if (!(midMid == null || "".equals(midMid))) {  
        base32For9.add(midMid);  
    }  
    String midDown = getGeoHashBase32(location.getLat(), downLng);  
    if (!(midDown == null || "".equals(midDown))) {  
        base32For9.add(midDown);  
    }  
    //右侧从上到下 3个  
    String rightUp = getGeoHashBase32(rightLat, upLng);  
    if (!(rightUp == null || "".equals(rightUp))) {  
        base32For9.add(rightUp);  
    }  
    String rightMid = getGeoHashBase32(rightLat, location.getLng());  
    if (!(rightMid == null || "".equals(rightMid))) {  
        base32For9.add(rightMid);  
    }  
    String rightDown = getGeoHashBase32(rightLat, downLng);  
    if (!(rightDown == null || "".equals(rightDown))) {  
        base32For9.add(rightDown);  
    }  
    return base32For9;  
}  

运行结果

完整代码

上面的博客中已经有完整的LoacationBean代码，这里就不再写了。

 
   [java]  
   view plaincopy
 /**   
 *@Description: GeoHash实现经纬度的转化 
 */   
package com.lulei.geo;    
  
import java.util.ArrayList;  
import java.util.Arrays;  
import java.util.List;  
  
import com.lulei.geo.bean.LocationBean;  
import com.lulei.util.JsonUtil;  
    
public class GeoHash {  
    private LocationBean location;  
    /** 
     * 1 2500km;2 630km;3 78km;4 30km 
     * 5 2.4km; 6 610m; 7 76m; 8 19m 
     */  
    private int hashLength = 8; //经纬度转化为geohash长度  
    private int latLength = 20; //纬度转化为二进制长度  
    private int lngLength = 20; //经度转化为二进制长度  
      
    private double minLat;//每格纬度的单位大小  
    private double minLng;//每个经度的倒下  
    private static final char[] CHARS = {'0', '1', '2', '3', '4', '5', '6', '7',   
                '8', '9', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'j', 'k', 'm', 'n',   
                'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z'};  
      
    public GeoHash(double lat, double lng) {  
        location = new LocationBean(lat, lng);  
        setMinLatLng();  
    }  
      
    public int gethashLength() {  
        return hashLength;  
    }  
      
    /** 
     * @Author:lulei   
     * @Description: 设置经纬度的最小单位 
     */  
    private void setMinLatLng() {  
        minLat = LocationBean.MAXLAT - LocationBean.MINLAT;  
        for (int i = 0; i < latLength; i++) {  
            minLat /= 2.0;  
        }  
        minLng = LocationBean.MAXLNG - LocationBean.MINLNG;  
        for (int i = 0; i < lngLength; i++) {  
            minLng /= 2.0;  
        }  
    }  
      
    /** 
     * @return 
     * @Author:lulei   
     * @Description: 求所在坐标点及周围点组成的九个 
     */  
    public List<String> getGeoHashBase32For9() {  
        double leftLat = location.getLat() - minLat;  
        double rightLat = location.getLat() + minLat;  
        double upLng = location.getLng() - minLng;  
        double downLng = location.getLng() + minLng;  
        List<String> base32For9 = new ArrayList<String>();  
        //左侧从上到下 3个  
        String leftUp = getGeoHashBase32(leftLat, upLng);  
        if (!(leftUp == null || "".equals(leftUp))) {  
            base32For9.add(leftUp);  
        }  
        String leftMid = getGeoHashBase32(leftLat, location.getLng());  
        if (!(leftMid == null || "".equals(leftMid))) {  
            base32For9.add(leftMid);  
        }  
        String leftDown = getGeoHashBase32(leftLat, downLng);  
        if (!(leftDown == null || "".equals(leftDown))) {  
            base32For9.add(leftDown);  
        }  
        //中间从上到下 3个  
        String midUp = getGeoHashBase32(location.getLat(), upLng);  
        if (!(midUp == null || "".equals(midUp))) {  
            base32For9.add(midUp);  
        }  
        String midMid = getGeoHashBase32(location.getLat(), location.getLng());  
        if (!(midMid == null || "".equals(midMid))) {  
            base32For9.add(midMid);  
        }  
        String midDown = getGeoHashBase32(location.getLat(), downLng);  
        if (!(midDown == null || "".equals(midDown))) {  
            base32For9.add(midDown);  
        }  
        //右侧从上到下 3个  
        String rightUp = getGeoHashBase32(rightLat, upLng);  
        if (!(rightUp == null || "".equals(rightUp))) {  
            base32For9.add(rightUp);  
        }  
        String rightMid = getGeoHashBase32(rightLat, location.getLng());  
        if (!(rightMid == null || "".equals(rightMid))) {  
            base32For9.add(rightMid);  
        }  
        String rightDown = getGeoHashBase32(rightLat, downLng);  
        if (!(rightDown == null || "".equals(rightDown))) {  
            base32For9.add(rightDown);  
        }  
        return base32For9;  
    }  
  
    /** 
     * @param length 
     * @return 
     * @Author:lulei   
     * @Description: 设置经纬度转化为geohash长度 
     */  
    public boolean sethashLength(int length) {  
        if (length < 1) {  
            return false;  
        }  
        hashLength = length;  
        latLength = (length * 5) / 2;  
        if (length % 2 == 0) {  
            lngLength = latLength;  
        } else {  
            lngLength = latLength + 1;  
        }  
        setMinLatLng();  
        return true;  
    }  
      
    /** 
     * @return 
     * @Author:lulei   
     * @Description: 获取经纬度的base32字符串 
     */  
    public String getGeoHashBase32() {  
        return getGeoHashBase32(location.getLat(), location.getLng());  
    }  
      
    /** 
     * @param lat 
     * @param lng 
     * @return 
     * @Author:lulei   
     * @Description: 获取经纬度的base32字符串 
     */  
    private String getGeoHashBase32(double lat, double lng) {  
        boolean[] bools = getGeoBinary(lat, lng);  
        if (bools == null) {  
            return null;  
        }  
        StringBuffer sb = new StringBuffer();  
        for (int i = 0; i < bools.length; i = i + 5) {  
            boolean[] base32 = new boolean[5];  
            for (int j = 0; j < 5; j++) {  
                base32[j] = bools[i + j];  
            }  
            char cha = getBase32Char(base32);  
            if (' ' == cha) {  
                return null;  
            }  
            sb.append(cha);  
        }  
        return sb.toString();  
    }  
      
    /** 
     * @param base32 
     * @return 
     * @Author:lulei   
     * @Description: 将五位二进制转化为base32 
     */  
    private char getBase32Char(boolean[] base32) {  
        if (base32 == null || base32.length != 5) {  
            return ' ';  
        }  
        int num = 0;  
        for (boolean bool : base32) {  
            num <<= 1;  
            if (bool) {  
                num += 1;  
            }  
        }  
        return CHARS[num % CHARS.length];  
    }  
      
    /** 
     * @param lat 
     * @param lng 
     * @return 
     * @Author:lulei   
     * @Description: 获取坐标的geo二进制字符串 
     */  
    private boolean[] getGeoBinary(double lat, double lng) {  
        boolean[] latArray = getHashArray(lat, LocationBean.MINLAT, LocationBean.MAXLAT, latLength);  
        boolean[] lngArray = getHashArray(lng, LocationBean.MINLNG, LocationBean.MAXLNG, lngLength);  
        return merge(latArray, lngArray);  
    }  
      
    /** 
     * @param latArray 
     * @param lngArray 
     * @return 
     * @Author:lulei   
     * @Description: 合并经纬度二进制 
     */  
    private boolean[] merge(boolean[] latArray, boolean[] lngArray) {  
        if (latArray == null || lngArray == null) {  
            return null;  
        }  
        boolean[] result = new boolean[lngArray.length + latArray.length];  
        Arrays.fill(result, false);  
        for (int i = 0; i < lngArray.length; i++) {  
            result[2 * i] = lngArray[i];  
        }  
        for (int i = 0; i < latArray.length; i++) {  
            result[2 * i + 1] = latArray[i];  
        }  
        return result;  
    }  
      
    /** 
     * @param value 
     * @param min 
     * @param max 
     * @return 
     * @Author:lulei   
     * @Description: 将数字转化为geohash二进制字符串 
     */  
    private boolean[] getHashArray(double value, double min, double max, int length) {  
        if (value < min || value > max) {  
            return null;  
        }  
        if (length < 1) {  
            return null;  
        }  
        boolean[] result = new boolean[length];  
        for (int i = 0; i < length; i++) {  
            double mid = (min + max) / 2.0;  
            if (value > mid) {  
                result[i] = true;  
                min = mid;  
            } else {  
                result[i] = false;  
                max = mid;  
            }  
        }  
        return result;  
    }  
      
  
    public static void main(String[] args) {  
        // TODO Auto-generated method stub   
        GeoHash g = new GeoHash(40.222012, 116.248283);  
        System.out.println(g.getGeoHashBase32());  
        System.out.println(JsonUtil.parseJson(g.getGeoHashBase32For9()));  
    }  
  
}  

-------------------------------------------------------------------------------------------------
小福利
-------------------------------------------------------------------------------------------------
个人在极客学院上《Lucene案例开发》课程已经上线了（目前上线到第二课），欢迎大家吐槽~

第七课：小说网站分布式爬虫的实现