qq_41775852的博客

背景最近项目里出现了两个bug，找了很久，最后发现都是因为多线程并发导致的问题，所以在此记录。项目主要是做时空数据库，点线面等时空数据的查询。问题描述：对于点数据，我们在导入HBase时，会对其进行进行时空编码（time + Zorder）作为Rowkey，但是在利用时空索引进行时空查询时，竟然出现了不在时间范围内的点数据。在对HBase进行scan查询时，由于时空范围的分解会生成多个scan range，所以利用线程池提交多个查询任务进行并发查询，但是最后查询的会漏查一些数据。解决对于第

文章目录HBase储存原理BulkLoadMaven重复依赖maven对于重复依赖的处理方式解决方案Spark导入HBase classpathHBase储存原理HBase存储数据其底层使用的是HDFS来作为存储介质，HBase的每一张表对应的HDFS目录上的一个文件夹，文件夹名以HBase表进行命名（如果没有使用命名空间，则默认在default目录下），在表文件夹下存放在若干个Region命...