Geoserver+Geomesa+HBase时空大数据环境搭建

最新推荐文章于 2025-02-19 14:33:47 发布
最新推荐文章于 2025-02-19 14:33:47 发布
阅读量3.6k 收藏 27
点赞数 3
分类专栏： gis 文章标签： hbase big data 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/fyc__iOS/article/details/122473337
版权

1. 技术栈介绍

随着互联网技术日益发展，庞大的数据量，传统关系型数据库已无法满足业务需求，需结合Nosql型数据库来应对时空海量数据和业务发展。针对日前互联网外出交通出行，位置点实时监控与轨迹播放等场景，提供一套有效的技术方案来满足需求。本文选型Geomesa+HBase技术栈，教大家搭建一套属于自己的单机版时空大数据环境，自下而上的技术组件介绍，希望能使大家清晰的掌握该组合技术栈。

1.1 Hadoop+HBase

Hbase用于时空数据的存储，实时监控点的更新，以及海量轨迹路线的存储。（感兴趣的博友可以与此对比Orcale、Postgresql数据库）

Apache Hadoop

Apache HBase

1.2 Geomesa

GeoMesa是一款开源的基于分布式计算系统的面向海量时空数据查询与分析的工具包，它支持多种可扩展的、基于云端的数据存储架构，包括Apache Accumulo, HBase，Cassandra，Google Bigtable，以及用于流计算的Apache Kafka 。同时GeoMesa还可以和Apache Storm一起处理流数据，并使用Spark进行空间分析。 同时，GeoMesa以GeoServer插件的形式为GeoServer提供了读取GeoMesa表的功能。在GeoServer中，GeoMesa表作为一种数据源存在，通过GeoServer，用户可以通过WMS/WFS的形式访问GeoMesa的数据。

Home · GeoMesa

1.3 Geoserver

Geoserver是一款优秀的基于OGC（开放地理信息联盟）标准开发的数据渲染和电子地图生产服务引擎。

GeoServer

1.4 OpenLayers

ol用于电子地图的浏览器端展示，也可选择leaflet、mapbox-gl-js等技术栈

OpenLayers - Welcome

2. 部署环境

2.1 环境依赖

 

  1. Ubuntu 16.04（操作系统）
  2. JDK8
  3. Maven （3.6.3）
  4. Tomcat（8.5.38）
  5. Hadoop（本文使用2.7.5）
  6. Zookeeper （3.4.9）
  7. HBase（2.1.0）
  8. Geomesa-hbase（2.11-3.2.0）
  9. Geoserver（2.17.2）

2.2 HAPOOP安装

2.2.1 SSH的安装、配置

sudo apt-get install ssh

ssh-keygen -t rsa

cd ~/.ssh
 
cat id_rsa.pub >> authorized_keys
 
ssh localhost

2.2.2 下载hadoop压缩包

Index of /dist/hadoop/core/hadoop-2.7.5

2.2.3 命令行解压

tar zxvf hadoop-2.7.5.tar.gz

2.2.4 配置

a. 环境变量配置（可选择hadoop安装路径）

sudo vim /etc/profile

export HADOOP_HOME=/home/ubuntu/soft/hadoop-2.7.5

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
# 更新环境变量
source /etc/profile
# 验证hadoop是否配置成功
ubuntu@ubuntu:~$ hadoop version
Hadoop 2.7.5

b. hadoop-env.sh文件配置

新增java环境变量配置

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

c. hdfs（name和data节点）配置

cd hadoop-2.7.5

hdfs-site.xml配置

vim ./etc/hadoop/hdfs-site.xml
<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/home/ubuntu/soft/hadoop-2.7.5/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/home/ubuntu/soft/hadoop-2.7.5/tmp/dfs/data</value>
        </property>
	<property>
		<name>dfs.http.address</name>
		<value>0.0.0.0:50070</value>
	</property>
     <property>
          <name>dfs.permissions</name>
          <value>false</value>
          <description>need not permissions</description>
     </property>
</configuration>

core-site.xml配置

vim ./etc/hadoop/core-site.xml
<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
	     <value>file:/home/ubuntu/soft/hadoop-2.7.5/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <!--0.0.0.0便于其他服务器ip访问-->
             <value>hdfs://0.0.0.0:9000</value>
        </property>
</configuration>

namenode格式化，启动namenode和datanode

hdfs namenode -format

start-dfs.sh

打开http://192.168.1.200:50070/查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件

2.3 Zookeeper安装

zk安装相对容易，这里不再赘述

2.4 HBase安装

本文HBase使用外部zookeeper

2.4.1 下载解压

https://mirrors.cnnic.cn/apache/hbase/2.1.0/

tar zxvf hbase-2.1.0

2.4.2 配置

a. 环境变量配置


export HBASE_HOME=/home/ubuntu/soft/hbase-2.1.0
export PATH=$HBASE_HOME/bin:$PATH

b. 编辑hbase-env.sh

# java配置
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
# 外部zk，如果使用hbase自带zk，修改为true
export HBASE_MANAGES_ZK=flase

c. 编辑hbase-site.xml

<configuration>
	<property>
		<name>hbase.rootdir</name>
        <!--hdfs地址-->
		<value>hdfs://192.168.1.5:9000/hbase</value>
	</property>
	<property>
		<name>hbase.cluster.distributed</name>
		<value>true</value>
	</property>   
	<property>
		<name>hbase.zookeeper.quorum</name>
        <!--zk集群可以使用zk1:2181;zk2:2181方式配置-->
		<value>192.168.1.5:2181</value>
	</property>
		<property>
		<name>hbase.tmp.dir</name>
		<value>/home/ubuntu/soft/hbase-1.4.13/tmp</value>
	</property>
	<property>
        <!--使用本地目录-->
		<name>hbase.zookeeper.property.dataDir</name>
		<value>/home/ubuntu/soft/zookeeper-3.4.14/data</value>
	</property>
</configuration>

d. 配置regionservers

可配置单节点zk，或者多节点zk

192.168.1.200

e. hbase安装验证与启动

# hbase安装验证
ubuntu@ubuntu:~$ hbase version
HBase 2.1.0

# hbase启动
start-hbase.sh

f. 验证是否使用外部zk，浏览器验证hbase界面化

ubuntu@ubuntu:~$ zkCli.sh

zk连接服务会有hbase服务

浏览器验证http://192.168.1.200:16010/master-status

2.5 Geomesa+HBase部署

可以使用geomesa+hbase源码安装，也可使用发行版本安装，本文选择发行版安装。

如果使用源码安装请参照阿里云潇博士安装文章：

GeoMesa-HBase部署实践_xiaof22a的博客-优快云博客_geomesa-hbase

发行版安装包下载路径

https://github.com/locationtech/geomesa/releases/download/geomesa_2.11-3.2.0/geomesa-hbase_2.11-3.2.0-bin.tar.gz

2.5.1 下载解压

$ tar xvf geomesa-hbase_2.11-3.2.0-bin.tar.gz
$ cd geomesa-hbase_2.11-3.2.0
$ ls
bin/  conf/  dist/  docs/  examples/  lib/  LICENSE.txt  logs/

2.5.2 环境变量配置

vim ~/.bashrc
# 配置GEOMESA_HBASE_HOME
export GEOMESA_HBASE_HOME="/home/ubuntu/soft/geomesa-hbase_2.11-3.2.0"
export GEOMESA_LIB="/home/ubuntu/soft/geomesa-hbase_2.11-3.2.0/lib"
export GEOMESA_LOG_DIR="/home/ubuntu/soft/geomesa-hbase_2.11-3.2.0/logs"
export PATH=${GEOMESA_HBASE_HOME}/bin:$PATH

Hbase2请使用geomesa-hbase-distributed-runtime-hbase2_2.11-3.2.0.jar

Hbase1请使用geomesa-hbase-distributed-runtime-hbase1_2.11-3.2.0.jar

${GEOMESA_HBASE_HOME}/dist/hbase/geomesa-hbase-distributed-runtime-hbase1_2.11-3.2.0.jar拷贝到${HBase_HOME}/lib目录下

2.5.3 注册coprocessor

Geomesa使用HBase提供的coprocessor工具将处理过程移动到服务器端运行来提高查询效率，最简单的注册方式就是直接修改hbase-site.xml，增加以下内容：

<property>
    <name>hbase.coprocessor.user.region.classes</name>
    <value>org.locationtech.geomesa.hbase.coprocessor.GeoMesaCoprocessor</value>
</property>

2.5.4 初始化geomesa-hbase

bin/geomesa-hbase configure

2.5.5 存储测试数据

a. 下载shp数据

Index of /asia

b. 如果已有geoserver

请用geoserver lib包jts-core-$version.jar替换geomesa-hbase的jts-core包，避免版本冲突导致数据导入hbase报错

c. 数据入hbase

geomesa-hbase ingest 
    --catalog qnl 
    --feature-name qnl 
    --input-format shp /export/soft/shp/qnl.shp

c. geomesa-hbase命令行参数说明

14.3. Using the HBase Data Store Programmatically — GeoMesa 3.3.0 Manuals

2.6. Geoserver部署

geoserver可使用源码编译

GitHub - geoserver/geoserver: Official GeoServer repository

本文使用war包+tomcat运行

GeoServer

2.6.1 tomcat运行geoserver war包

2.6.2 替换geomesa-hbase jts-core包

参考2.5.5 b

2.6.3 整合geomesa-hbase

a. 将 $GEOMESA_HBASE_HOME/dist/gs-plugins/geomesa-hbase-gs-plugin_2.11-$VERSION-install.tar.gz解压到WBE-INF/lib路径下；

b. 由于geomesa-hbase-gs-plugin并不包含有Hadoop、HBase有关的依赖jar文件，所以需要手动将以下jar文件复制到WBE-INF/lib路径下（仔细观察geoserver相关包是否已存在，小心jar冲突）

hbase1依赖包

2.6.4 启动tomcat

浏览器地址访问：http://192.168.1.200:8090/

新增geomesa-hbase数据存储

2.6.5 openlayers浏览器效果预览

3 geomesa+hbase探索（希望一起讨论，给出解决办法）

3.1 如何实现类似postgresql + postgis数据库功能，可以在同一datastore中多表访问，而不是每个表对应一个datastore

3.2 geoserver在放大的过程中会出现如下错误，但是继续放大后消失

 

Caused by: java.lang.NoSuchMethodError: org.locationtech.jts.geom.Polygon.getExteriorRing()Lorg/locationtech/jts/geom/LinearRing;

3.3 导入base中的数据，利用geoserver发布，计算边框始终不对，导致加载的层级有问题。

3.4 导入hbase的shp文件不能含有ID字段，否则报错这是保留字段

3.5 导入hbase中的数据存在乱码情况

4.结尾总结

本文总结了完整的geomesa-hbase技术栈，由于技术有限，难免有错误之处，希望博友可以不辞指正，也可在下方评论区留言，博主会及时回复。希望能帮到各位博友

在GeoServer中安装GeoMesa HBase
蜗牛小将
09-03 1918
默认情况下，HBase GeoServer插件捆绑在GeoMesa二进制分发版中。 我的安装目录在/usr/local/geomesa-hbase_2.11-2.0.2下， 解压缩/usr/local/geomesa-hbase_2.11-2.0.2/dist/gs-plugins/geomesa-hbase-gs-plugin_2.11-2.0.2-install.tar.gz 到GeoS...
hadoop + zk+ hbase+ GeoMesa + GeoServer单环境部署
u012453032的博客
11-26 1051
最近公司正在用GeoMesa处理SHP数据,需要通过GeoServer进行数据发布,就将单机环境下安装教程总结下： 这里采用的是GeoMesa 2.3.2 + HBASE 1.3.6 + HADOOP 2.9.2 1.Hadoop安装 1.1 下载hadoop包 http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9....
java大型项目源码下载-geomesa:GeoMesa是一套以分布式方式处理大地理空间数据的工具
06-05
java大型项目源码下载 GeoMesa 是一个开源工具套件，可在分布式计算系统上实现大规模地理空间查询和分析。 GeoMesa 在 Accumulo、HBase、Google Bigtable 和 Cassandra 数据库之上提供时空索引，用于点、线和多边形数据的海量存储。 GeoMesa 还通过在 Apache Kafka 之上分层空间语义来提供时空数据的近实时流处理。 通过 GeoServer，GeoMesa 通过标准 OGC（开放地理空间联盟）API 和协议（如 WFS 和 WMS）促进与各种现有地图客户端的集成。 GeoMesa 支持 Apache Spark 进行自定义分布式地理空间分析。 GeoMesa 是 Eclipse 基金会工作组的成员。 加入社区 GeoMesa 和邮件列表 用于问题跟踪的 GeoMesa 文档 快速入门： | | | | | 下载 当前的版本： | | | | | | 验证下载 GitHub 上托管的下载包括 SHA-256 哈希和 gpg 签名（.asc 文件）。 要使用 gpg 验证下载，请导入相应的密钥： $ gpg2 --keyserv
Mapbox知识总结
最新发布
GIS开发
02-19 935
Mapbox 是一个用于创建交互式地图的强大平台，它提供了丰富的 API 和工具，让开发者能够轻松地定制和展示地图。
GeoServer中安装GeoMesa HBase 插件
tiger_hcx的博客
12-16 911
GeoServer中安装GeoMesa HBase 插件
geoServer + leaflet 实现实时数据展示 以及数据回放
qq_26990355的博客
08-01 2087
1.geoserver发布带有时间属性的图层 图层属性添加timestamp 类型字段 发布图层时 添加启用时间维度 2.leaflet 调用wms图层 this.ownLayer = this.nsnMap.newLayer({ url: geoServerLayerUrl, layers: ownCarLayer, crs: L.CRS.EPSG43...
Bigdata-Hbase+Geomesa+Geoserver集群部署并发布地图服务
adson1987的博客
08-14 6712
Bigdata-Hbase+Geomesa+Geoserver集群部署并发布地图服务基本环境配置安装java安装hadoop安装zookeeper安装hbase安装Geomesa整合geoserver 基本环境配置 所有节点： 1.关闭防火墙 systemctl stop firewalld.service systemctl disable firewalld.service 2.主机名映射 [...
hbase+geomesa+geoserver踩过的坑
jinger_000的博客
09-21 2237
参考博文配置hbase+geomesa+geoserver，当执行下面步骤时： $ java -cp geomesa-tutorials-hbase-quickstart-2.1.0-SNAPSHOT.jar org.geomesa.example.hbase.HBaseQuickStart      --hbase.zookeepers master      --hbase.catalog...
Bigdata-Hbase+Geomesa+Geoserver部署并发布地图服务
adson1987的博客
06-05 6352
Bigdata-Hbase+Geomesa+Geoserver发布地图服务安装java安装hadoop安装hbase安装geomesa安装tomcat和部署geoserver 安装java 1、卸载预装的java： [root@geomesa geomesa_soft]# rpm -qa|grep java tzdata-java-2017b-1.el7.noarch java-1.8.0-ope...
geoMesa
wangjunji34478的专栏
05-05 1526
在hbase ,accumulo,cassandra,kafka和spark 中大规模存储，索引，查询和转换时空数据。 geomesa是一种开源工具套件，可在分布式计算系统上进行大规模地理空间查询和分析，geomesa在accumulo，hbase,google bigtable和cassandra数据库之是提供时空索引，用于大量存储点，线和面数据。geomesa还通过apache kafka之上分层空间语义来提供时空数据的近实时流处理。通过geoserver ，geomesa促进了通过标准ogc(开放地
GeoServer可解析的shp全国省市县空间数据
01-24
GeoServer可解析的shp全国省市县空间数据，直接使用postgis导入postgresSQL就可以通过GeoServer绘制地图
GeoMesa 整合GeoServer
蜗牛小将
09-06 2092
首先把GeoMesa和GeoServer安装完成后，继续以下： 1 将GEOMESA_HBASE_HOME/dist/gs-plugins/geomesa-hbase-gs-plugin_2.11-$VERSION-install.tar.gz解压到WBE-INF/lib路径下； tar -xvf /usr/local/geomesa-hbase_2.11-2.1.0-SNAPSHOT/d...
GeoMesa-Kafka（GeoServer中创建GeoMesa-Kafka数据存储并发布图层）
tiger_hcx的博客
01-11 1533
GeoServer对接GeoMesa-Kafka（GeoServer中创建GeoMesa-Kafka数据存储并发布图层）前言一、生成100万车辆信息插入到kafkaschema的创建二、使用步骤总结 前言 1.必须已经在集群中安装了GeoMesa-Kafka（CDH6.2.1集群中安装geomesa-kafka 3.1.0），并且在geoserver中安装了GeoMesa-Kafka的插件（geoserver中安装GeoMesa-Kafka插件） 2.这里模拟100万车辆的位置。使用GeoMesa-Kaf
在GeoServer中安装GeoMesa HBase插件
weixin_43075247的博客
02-22 430
1.准备插件包 如果您需要不同的版本，请pom.xml使用Maven从头开始修改和构建GeoMesa HBase插件项目。 2.配置相关jar包 解压缩geomesa-hbase-gs-plugin_2.11-3.1.0-install.tar.gz到GeoServer的 WEB-INF/lib目录中。 tar -zxvf geomesa-hbase-gs-plugin_2.11-3.1.0-install.tar.gz -C /usr/local/apache-tomcat-9.0.41/webapps
docker compose 安装_geodocker-geomesa安装指南
weixin_39883256的博客
10-30 207
背景    geotrellis作为一个处理遥感数据的框架，对于遥感数据支持的很棒，但是对于矢量数据却有些不足，首先它的样式选择单一，不能像geoserver使用sld自定义出各种样式，其二就是对与矢量的支持稍弱。那为啥么要用geomesa呢？这个框架资料还是比较多的，支持矢量操作，geoserver支持,能提供WFS、WMS服务，所以还是比较看好的。操作    我们直接看看github地址，按照...
geoserver 发布影像数据_重磅！阿里云时空数据库正式免费公测
weixin_39585691的博客
12-07 301
作者 焦先，阿里云数据库技术专家目前随着移动互联网和物联网的广泛应用，90%以上的数据是和时间+空间相关的，而越来越多的数据应用场景与时间和空间信息密不可分。时间+空间维度的数据(我们称之为时空数据)是一种高维数据，需要更为高效的数据处理方式来处理，而普通的关系型数据库更适合于存储数值和字符类型数据，也缺少相关的时空算子。在实际应用场景上例如传感器网络、移动互联网、射频识别、全球定位系...
centos7安装geowave0.9.7_hbase_geoserver2.13.2的方法
hsg77的专栏
08-23 1554
centos7安装geowave0.9.7_hbase_geoserver2.13.2的方法 参考web页面地址url: https://www.linkedin.com/pulse/testing-big-spatial-data-software-hadoop-hbase-geowave-alvaro-huarte/ https://blog.youkuaiyun.com/sinat_3558209...
生产环境下GeoServer如何优化--发布大数据量的影像（大于2g的tiff格式影像）
weixin_30456039的博客
01-29 2704
生产环境下GeoServer如何优化--发布大数据量的影像（大于2g的TIFF格式影像） 前言 Geoserver可以高效的处理数据量小于2GB的TIFF影像，一旦影像的大小超过了2GB，就需要考虑用影像金字塔来替代。 影像金字塔创建多重镶嵌的影像，每个都在不同层级，使得每个切片都存储为一个分离的文件。虽然看起来会增加切片合成的成本，但是却可以加快图像处理速度， 每个预览都是平铺的，因此可...
geoserver+ spearfish
09-02
引用中提到了关于geoserver、postgis和openlayers的空间要素增删改功能，你可以参考提供的链接了解更多详细信息。引用中提到了使用wfs的http请求到geoserver服务器，请求的url为http://localhost:8080/geoserver/wfs?service=wfs。而引用中给出了一个具体的请求示例，包括请求的版本、请求类型、要素名称、输出格式和坐标系等参数。根据这些信息，可以在geoserver上进行空间要素的增删改操作。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [geoserver+postgis+openlayers 空间要素的增删改](https://download.youkuaiyun.com/download/rrrrroy_ha/11238728)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [OpenLayers学习笔记高级篇（四、地图开发实战之地图要素的增删改查）](https://blog.youkuaiyun.com/MagicMHD/article/details/91437251)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值