touziss的博客

首先是HBase协处理器的一些理解上的问题。之前写的博文HBase Coprocessor是按照别人的代码做的一个测试小实验，虽然成功了，但是没有完全理解，所以当自己真的要用协处理器的时候重新理解了一下。其实，协处理器实现二级索引的本质是自动维护两张表格。比如我需要的主表如下需要对列族 Coid的 LatLonCode变量做一个二级索引，其实就是维护另一张表，我把它称为协处理表，这个表的Rowkey就是这个LatLonCode的值，而表中列族就是主表的Rowkey。所以设计协处理表如下所以检索的

利用importtsv向HBase批量插入数据在上一篇博文里用importtsv向HBase中批量插入了数据。用了一次之后就报错，报得错表面上看起来非常简单ServerNotRunningYetException: Server is not running yet百度了一下，有很多参考解决的方法比如https://blog.youkuaiyun.com/zw0283/article/details...

用importtsv处理，可以快速、批量导入数据，测试一下导入一百五十多万条的数据，一共只用了十几秒，非常快。缺点非常明显，这个文件要求是结构化的，也就是列要对齐，这个其实就丧失了NOSQL的特征，但是我只是做一下测试，其实可以做到结构化数据，所以用这个工具非常有效。步骤数据文件的结构大概是这样的数据文件上传到hdfs./hdfs dfs -put ~/D...

用Coprocessor实现HBase的二级索引，遇到了很多问题，记录一下首先本次的感想是：官方文档很重要！日志非常重要！！！用的数据是POES粒子通量数据，选取其中的位置信息，mag_lat_sat, mag_lon_sat，时间信息time，L值IGRF_L和B值Btot，以及各能段0度和90度方向质子和电子的粒子通量数据存储，row key是通过L、lat、lon计算出来的索...