16. GeoMesa数据读取篇之对象存储文件写入

Freedom3568

于 2021-09-25 11:43:44 发布

阅读量379

点赞数

CC 4.0 BY-SA版权

分类专栏：全网最全GeoMesa学习专栏文章标签： GeoMesa 对象存储 Minio 写入矢量数据

本文链接：https://blog.youkuaiyun.com/zhanggqianglovec/article/details/120469672

全网最全GeoMesa学习专栏专栏收录该内容

12 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何将矢量数据写入到对象存储服务Minio中，作为GeoMesa数据的一部分。内容涵盖简介和详细代码实现，包括写入数据的步骤和Main函数调用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一.简介

基于对象存储，矢量数据的写入
基于对象存储，矢量数据的读取

二. 代码

1. 写入矢量数据到Minio

def write_s3(inputRdd: SpatialRDD, hdfsHost: String, hdfsPath: String, hdfsFile: String)
                (implicit sparkContext: SparkContext) = {

        val reRdd = inputRdd.repartition(1)

        val hdfsConf: Configuration = new Configuration();
        hdfsConf.set("fs.defaultFS", hdfsHost)
        val hdfs = FileSystem.get(hdfsConf)
        hdfs.mkdirs(new Path(hdfsPath.concat(hdfsFile)))

        val hdfsShapePath = hdfsHost + hdfsPath + hdfsFile
        var outputParams: Map[String, String] = Map()
        outputParams += ("fs.path" -> hdfsShapePath)
        val dataStore = DataStoreFinder.getData