Hilbert 曲线

问题

一POI(Point of Interest)数据库每天都有增量的数据更新进来，对每个新增的poi必须进行dedup(去重)。即在已有库中查找是否有匹配的poi。

解决

找是否匹配的POI，当然不可能把所有的数据(几千万的点)全部取出来一一匹配。所以通用的做法是按距离进行过滤，只取当前点一定范围内的点。这是一个典型的空间索引的问题(Spatial index)。 空间索引有R-Tree, Grid Index, Quad-Tree 等。

其中最容易实现的是Grid Index。把给定区域划分固定大小的格子，每个格子一个编号。根据距离过滤如下实现：

• 对给定目标点，计算目标格子编号
• 根据距离计算周边格子的编号
• 取出相应格子内的POI点

批处理的优化

我们每天需要处理的是一批数据。可以做的一个优化是对待处理的数据进行排序，让地理位置相近的点处在队列的相邻位置。这样做的好处是：

• 数据库端的缓存可能会有好的命中率。前一个(几个)点的查询结果可能被后一个(后几个)用到
• 查询端可以做一个本地的LRU cache，同样的增加命中率。

地理位置相邻是一个二维坐标，而处理队列的编号是一维。Hilbert Curve 就是一个很好的二维映射一维的曲线，维持了数据的局部性特征。

Hilbert 编号生成 java代码

public class Hilbert {

	static Logger logger = Logger.getLogger(Hilbert.class);

	public static boolean debug = logger.isDebugEnabled();

	static ImmutableMap<String, Pair[][]> hilbert_map = null;
	static {
		hilbert_map = ImmutableMap.of("a", new Pair[][] {
				{ new Pair(0, "d"), new Pair(1, "a") },
				{ new Pair(3, "b"), new Pair(2, "a") } }, "b", new Pair[][] {
				{ new Pair(2, "b"), new Pair(1, "b") },
				{ new Pair(3, "a"), new Pair(0, "c") } }, "c", new Pair[][] {
				{ new Pair(2, "c"), new Pair(3, "d") },
				{ new Pair(1, "c"), new Pair(0, "b") } }, "d", new Pair[][] {
				{ new Pair(0, "a"), new Pair(3, "c") },
				{ new Pair(1, "d"), new Pair(2, "d") } });
	}

	/**
	 * Our x and y coordinates, then, should be normalized to a range of 0 to
	 * 2order-1
	 * 
	 * @param x
	 * @param y
	 * @param order
	 *            An order 1 curve fills a 2x2 grid, an order 2 curve fills a
	 *            4x4 grid, and so forth.
	 * @return
	 */
	public static long xy2d(int x, int y, int order) {
		String current_square = "a";
		long position = 0;
		int quad_x = 0;
		int quad_y = 0;
		int quad_position = 0;
		for (int i = order - 1; i >= 0; i--) {
			position <<= 2;
			quad_x = (x & (1 << i)) > 0 ? 1 : 0;
			quad_y = (y & (1 << i)) > 0 ? 1 : 0;

			Pair p = hilbert_map.get(current_square)[quad_x][quad_y];
			quad_position = p.no;
			current_square = p.square;
			position |= quad_position;
		}

		return position;
	}

	static int SCALE_FACTOR = (int) 1e5;
	static int hibert_order = 1;

	static double max_length = 1.5;

	static {
		int Max = (int) (max_length * SCALE_FACTOR);

		int size = 1;
		while (size < Max) {
			size <<= 1;
			hibert_order++;
		}
	}
	
	static class Pair {
		int no = 0;
		String square;

		Pair(int no, String square) {
			this.no = no;
			this.square = square;
		}
	}
}

http://blog.notdot.net/2009/11/Damn-Cool-Algorithms-Spatial-indexing-with-Quadtrees-and-Hilbert-Curves

Hilbert 分布效果

简单的case

   

实际的case

2012-01-11更新
server 的数据排序比client更有效果，server端已经保证了地理位置相邻的点物理位置也相邻。

insert into us_ta_2 (select * from us_ta_1 order by node_index)