spark读写minio文件代码实践

原创

已于 2025-02-17 21:48:23 修改 · 1.7k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#spark #大数据 #分布式 #Minio

于 2023-08-14 22:29:46 首次发布

本文介绍了如何使用Minion作为对象存储方案与Spark集成，包括部署Minio服务、配置SparkSession以访问Minio，以及通过S3协议进行数据的读写操作。

1、前置说明

Minion作为一个先进的对象存储方案，对于大数据和人工智能的支持有着天然的优势。它支持与Spark\Flink等技术方案进行整合，并且通过S3协议实现数据查询的下沉，这让大数据的存储与查询分离提供了事实依据。
（1）首先，需要部署minio服务集群，搭建minio对象存储桶，可以参考我的文章Minio+ImgProxy商城图片一站式处理或minio官网的部署和使用文档。

（2）根据部署的minio服务的信息（如端口、Access Key、Secret Key、存储桶名称等），创建一个SparkSession对象，可以使用如下步骤进行读写Minio。

1、读取minio需要引入依赖

MinIo支持S3协议，可以使用hadoop的aws包从minIO中读写数据。

       <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>3.2.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop