【大数据】GeoMesa HBase空间数据插入与追加

最新推荐文章于 2025-04-16 14:31:20 发布
最新推荐文章于 2025-04-16 14:31:20 发布
阅读量2.4k 收藏 5
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42034217/article/details/98733167
版权
本文介绍了如何使用GeoMesa HBase进行空间数据的插入和追加操作。通过5个shp文件数据，解析了插入命令和HBase连接参数，并详细阐述了数据追加的过程，包括在相同catalog中创建新表和向已有表追加数据。这些操作对于处理空间大数据计算具有重要意义。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 一、5个shp文件数据

二、插入命令解读

geomesa-hbase ingest --catalog Chinese_buildings_1 --feature-name Chinese_buildings_2 --input-format shp "/usr/local/build/gis_osm_buildings_a_free_1.shp"

类比于MySQL中的create database my_database时，my_database就是一个catalog

而create table my_table，my_table是一个schema，也可以称为feature-name

在以上插入命令中Chinese_buildings_1就是catalog名，Chinese_buildings_2就是schema名即表名

三、HBase连接参数解读

   val params = Map(
    "hbase.zookeepers" -> "192.168.6.129",
    "hbase.catalog" -> "landuse_catalog_2"
  )
   val ds = DataStoreFinder.getDataStore(params).asInstanceOf[HBaseDataStore]
   val query = new Query("my_type", filter)

    val type
最低0.47元/天 解锁文章
骑码找马
关注
GeoMesa-HBase部署实践
xiaof22a的博客
05-06 1万+
关于HBase实验环境的搭建请参阅我的另一篇文章：https://blog.youkuaiyun.com/xiaof22a/article/details/802130641. GeoMesa源代码编译由于考虑到日后需要基于GeoMesa进行二次开发，所以本文采用的是编译GeoMesa源代码的方式，如果读者仅仅为了学习应用GeoMesa进行空间数据管理，可以直接从官方下载已经编译好的GeoMesa HBase...
【大数据学习 | HBASE】hbase的写数据流程与hbase插入数据
2301_80912559的博客
11-11 1448
同hdfs的edits日志文件一样，每个regionserver中都存在一个HLog文件，这个文件主要是hbase的操作日志文件，这个文件内的数据会记录的操作，防止集群损坏后恢复用的。我们知道hbase的一个表为了多个机器并行进行管理和查询，将数据按照行进行拆分为多个region部分，多个region的数据会分散到不同的regionserver中进行管理，这个表全部都是元数据信息，但是这个表也会存在很多region信息，我们应该去那个region中查询meta表的数据呢，这个时候。
geomesa使用命令行插入数据
04-18
geomesa插入数据，除了使用代码实现外，还可以使用geomesa-hbase ingest 命令行实现
centos7伪分布式安装geomesa-hbase
最新发布
qq_53220115的博客
04-16 288
【代码】centos7伪分布式安装geomesa-hbase。
Java版GeoMesa-HBase操作——数据插入和读取Demo
subian1261的博客
05-13 3099
前言 完成geoMesa的安装之后，本人尝试使用java完成hbase的表创建、数据插入和读取工作。在这个过程中遇到了很多问题，查了很多资料，试了很多方法，终于实现了。其实出现这些问题都是没有导入正确jar包的原因。这里需要特别强调下，geoMesa和geotool的版本是对应的，是对应的，是对应的，重要的事情说三遍。关于版本对应问题，参考官网的pom文件。 https://github.com/locationtech/geomesa/blob/2.0.x/pom.xml 代码 XML文件 <pro
Geomesa-Hbase单机部署及ingest、export shp文件数据
学亮编程手记
09-27 980
本文记录一下Geomesa-Hbase单机部署，步骤如下： 1.在VMware下创建虚拟机 2.安装Linux系统(我选的是centos6.8) https://www.cnblogs.com/help-silence/p/12515686.html 3.网络配置 https://www.cnblogs.com/help-silence/p/12516589.html 4.关闭防火墙 https://www.cnblogs.com/help-silence/p/12516931.html 5.安装JD
大数据-hbase的安装与简单操作
04-05
通过HBase shell，用户可以创建表、插入数据、查询数据以及删除表等基本操作。 HBase的表结构设计非常灵活，它不像传统的关系型数据库有固定的表结构。在HBase中，表可以由多个列族组成，每个列族下可以有任意数量...
hbase 读写空间数据(三)-空间相交粗查
CJJ的专栏
03-11 1973
hbase 空间存储
hbase 读写空间数据(四)-空间查询优化
CJJ的专栏
03-13 2543
上一篇空间查询不涉及到任何得效率优化, 本篇先做一个简单得效率优化, 仅仅针对点数据的(PS: 线面数据还没搞定), 具体原理如下: 1: hbase 得索引都在rowkey上, rowkey在hbase中是排寻的, 查询如果指定Start rowkey 那么在大数据量情况下可以快速定位到数据在那些节点上, 这有点类似 跳表, 1-10亿个排序点值, 如果我指定从5亿位置开始那么将减少一般搜索区间. 2: 点数据目前实验代码采用geohash(网上虽然一艘一大堆, 但是这里要注意, 对于空间数...
Hbase表中插入数据
m0_46538284的博客
11-26 3929
Hbase表中插入数据 插入一条数据 // 插入数据 Table tbUser = HbaseUtils.getTable("tb_user"); // put 'tb_user' , 'rk' ,'cf:q' , 'v' Put put = new Put(Bytes.toBytes("rk1001")); // 行键 put.addColumn(Bytes.toBytes("cf1"),// 列族 Byt
基于HBase的分布式空间数据库技术
11-07
基于HBase的分布式空间数据库技术，利用Hbase构建分布式空间数据库
基于hbase和geohash的矢量数据空间索引方法
12-16
一种基于hbase和geohash的矢量数据空间索引方法；本发明涉及涉及在hbase上进行海量GIS矢量数据空间索引编码及建立的方法，更特定言之，本发明涉及对点、线、面二维矢量数据映射到一维的字符串型rowkey索引，使之能够用hbase存储海量矢量数据，提供高性能空间查询分析服务，特别是一种基于hbase和geohash的矢量数据空间索引方法
hbase 读写空间数据(六)-总结
CJJ的专栏
03-15 2870
hbase空间存储查询总结
GeoMesa Hbase 配置
qq_21705851的博客
06-24 689
geomesa.hbase.config.paths 添加hbase配置文件的路径，多个用逗号分隔 geomesa.hbase.remote.filtering 禁用远程过滤。远程过滤和协处理器可以加快查询速度，但是需要在HBase中安装定制jar。如果没有配置这些jar的话可以将该值设置为false geomesa.hbase.wal.durability hbase的WAL设置，当需要更高...
基于NoSQL数据库的空间数据存储（二）---HBase的构建
jamexfx的博客
11-17 657
一、问题描述海量空间数据存储要求服务器水平扩展性强，基于Hadoop的NoSQL数据库具有水平扩展性强的特点，其高效的并行存储机制也为空间检索提供快速响应的能力。二、方案选择由于将数据存入Hbase中需要考虑如何存储，空间数据处理的基本单位是二维或三维坐标，HBase只支持一维行键检索。行键的设置是HBase存储和处理空间数据首要解决的问题。不同于Hilbert、Geohash等降维方法，此次使用了
【收藏】GeoMesa-HBase原理篇——写入过程
学亮编程手记
09-27 603
https://blog.youkuaiyun.com/weixin_41834634/article/details/89184493
GeoMesa(5)
qq_21705851的博客
06-17 820
一、 Feature 抽样 如果有5 个features，抽取10％的话，则可能抽出1、2、3、4、5个（不少于10％） QueryHints.SAMPLING：值为0-1之间的小数（float） QueryHints.SAMPLE_BY：值为属性名 import org.locationtech.geomesa.index.conf.QueryHints // returns 10% of f...
GeoMesa（2）
qq_21705851的博客
06-17 917
配置项 一、geomesa.audit.provider.impl — 指定查询审核的全限定类名 通过将geomesa.query.audit设置为true来在创建DataStore时来启用查询审核 二、geomesa.convert.config.urls – 指定转换器的地址，多个之间使用逗号分隔 三、geomesa.convert.scripts.path – 向classpath添加文件，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值