【AWS S3工具类】

SpringBoot项目实战:用AWS S3 Transfer Manager搞定大文件上传(附完整工具类) 本文详细介绍了如何在SpringBoot项目中利用AWS S3 Transfer Manager实现高效稳定的大文件上传。通过自动分片上传、智能并发控制和断点续传等核心功能,显著提升大文件传输的可靠性和速度。文章包含完整的工具类实现、性能调优建议及常见问题排查指南,帮助开发者快速集成AWS S3服务。 阅读详情

AWS S3 SDK接入

参考资料:

根据我目前的业务,这里有一个需求,一个是在指定S3存储桶中查看文件目录,另外一个是列出S3中所有的存储桶资源。这里的代码片段中,比较重要的是第一个需求,如何查看存储桶中指定目录层级下的所有文件目录。

package com.nkm.deploy.service;

import java.util.List;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import com.amazonaws.auth.AWSCredentials;
import com.amazonaws.auth.AWSStaticCredentialsProvider;
import com.amazonaws.regions.Regions;
import com.amazonaws.services.s3.AmazonS3;
import com.amazonaws.services.s3.AmazonS3ClientBuilder;
import com.amazonaws.services.s3.model.Bucket;
import com.amazonaws.services.s3.model.ListObjectsRequest;
import com.amazonaws.services.s3.model.ObjectListing;
import com.nkm.deploy.common.enumPojo.RegionEnum;
import com.nkm.deploy.common.utils.AWSUtil;

/**
 * 
 * @ClassName: S3Service
 * @Description: Describes S3 Object and Some methods of operation associated with an AWS account
 * @author <a href="https://longshilin.com">LongShiLin</a>
 * @date 2019年1月7日
 *
 */
public class S3Service extends BaseService {

  private Logger logger = LoggerFactory.getLogger(S3Service.class.getName());
  private AmazonS3 s3Client = null;

  public void initS3() {
    try {
      AWSCredentials awsCredentials = AWSUtil.getAWSCredentials(RegionEnum.NA.getType());
      if (awsCredentials != null) {
        s3Client = AmazonS3ClientBuilder.standard().withCredentials(new AWSStaticCredentialsProvider(awsCredentials)).withRegion(Regions.US_EAST_1).build();
      } else {
        return;
      }
    } catch (Exception e) {
      e.printStackTrace();
    }
  }

  // List the buckets in your account
  public void listAllBuckets() {
    System.out.println("Listing buckets");
    for (Bucket bucket : s3Client.listBuckets()) {
      System.out.println(" - " + bucket.getName());
    }
    System.out.println();
  }

  // 获取存储桶中的文件目录,可以指定为任意子目录级
  /**
   */
  public List<String> listKeysInBucket(String bucketName, String prefix) {
    Boolean isTopLevel = false;
    String delimiter = "/";
    if (prefix == "" || prefix == "/") {
      isTopLevel = true;
    }
    if (!prefix.endsWith(delimiter)) {
      prefix += delimiter;
    }

    ListObjectsRequest listObjectsRequest = null;
    if (isTopLevel) {
      listObjectsRequest = new ListObjectsRequest().withBucketName(bucketName).withDelimiter(delimiter);
    } else {
      listObjectsRequest = new ListObjectsRequest().withBucketName(bucketName).withPrefix(prefix).withDelimiter(delimiter);
    }
    ObjectListing objects = s3Client.listObjects(listObjectsRequest);
    return objects.getCommonPrefixes();
  }

}

对于上面的工具代码,这里写了一个测试类,可以对其进行测试:

public class AWSTest {
  @Resource
  S3Service s3Service;

  /**
   * 测试单元:AWS S3服务
   */
  @Test
  public void s3Test() {
    s3Service.listAllBuckets();

    List<String> listKeysInDirectory = s3Service.listKeysInBucket("bucket1", "middle-east");
    String regEx = "^201[0-9]{7}$";
    Pattern pat = Pattern.compile(regEx);
    String temp = "";
    System.out.println("Result:");
    for (String key : listKeysInDirectory) {
      // System.out.println(key);
      temp = key.replace("middle-east", "").replace("/", "");
      if (pat.matcher(temp).find())
        System.out.println(temp);
    }
    List<String> listKeysInDirectory1 = s3Service.listKeysInBucket("bucket1", "amazon");
    System.out.println("Result:");
    for (String key : listKeysInDirectory1) {
      // System.out.println(key);
      temp = key.replace("amazon", "").replace("/", "");
      if (pat.matcher(temp).find())
        System.out.println(temp);
    }
    List<String> listKeysInDirectory2 = s3Service.listKeysInBucket("bucket1", "/");
    System.out.println("Result:");
    for (String key : listKeysInDirectory2) {
      // System.out.println(key);
      temp = key.replace("/", "").replace("/", "");
      if (pat.matcher(temp).find())
        System.out.println(temp);
    }
  }

 

SpringBoot项目实战:用AWS S3 SDK v2实现文件上传下载(附完整工具类) 本文详细介绍了如何在SpringBoot项目中集成AWS S3 SDK v2实现文件上传下载功能,包括环境配置、核心工具类实现及高级功能如大文件分片上传和预签名URL生成。通过实战示例和完整工具类代码,帮助开发者高效利用Amazon S3服务提升云存储能力。 阅读详情

相关推荐

基于minio在本地做亚马逊AMAZON:AWS S3·云文件存储开发

基于minio在本地做亚马逊AWS S3·云文件存储开发minio启动 · minioスタット文件上传 · ファイルアップロード文件删除 · ファイル削除文件复制 · ファイルコッピ文件下载 · ファイルダウンロード自己写的S3工具类 · S3Utils minio启动 · minioスタット 启动控制台,在minio文件目录下执行(复制以下代码)。 CMDをスタットして、minio目録の中には実行する。(コッピ) minio.exe --compat --config-dir config server

weixin_41870171的博客 1248

Amazon SDK提供的S3读取接口listObjects()是分页读取

Amazon SDK提供的S3读取接口listObjects()是分页读取,默认每次返回1000个对象。 因此需要翻页遍历出所有的对象。 private LinkedList<S3ObjectSummary> allObjectList = new LinkedList<S3ObjectSummary>(); public void download(){ ...

lzf0530的专栏 2448

SpringBoot集成AWS S3 生成预签名url进行上传文件到S3

然后通过CDN映射到S3的域名进行访问,或者直接访问S3,可以查看文件。通过生成的预签名url进行上传到S3,返回200则说明文件上传成功了!使用postman进行请求后获得url。

yunnuo的博客 5358

aws S3 util demo

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34038652的博客 452

aws s3 上传

使用 muliti..方式上传,其中提供的是一个 aws util工具类.

aws_util

aws_util

Java阿里云OSS获取文件目录列表结构或树形目录结构案例教程

Java获取阿里云OSS存储目录列表结构或树形目录结构案例教程。 以下是获取阿里云oss目录结构列表,树形改造下就好了 @RestController public class test { @Autowired private OSSConfig ossConfig; @Autowired private OSS ossClient; @RequestMapping("/list") public List<Map<String, Str

Liugx的博客 5482

解决 PyInstaller 与 `pathlib` 包不兼容的问题

为了避免 PyInstaller 和pathlib包的兼容性问题,最简单的解决办法就是卸载不必要的pathlib包。只需在命令行中运行卸载命令,然后重新打包即可。

Winfredzhang的博客 3228

OSS的Object

http://aliyun_portal_storage.oss.aliyuncs.com/oss_api/oss_javahtml/object.html#id6 在OSS中,用户操作的基本数据单元是Object。单个Object最大允许存储5TB的数据。Object包含key、meta和data。其中,key是Object的名字;meta是用户对该object的描述,由一系列name-v

xinanrusu的博客 6423

Blender点云渲染实战:用Geometry Nodes快速搞定论文配图(附Cycles渲染技巧)

本文详细介绍了如何利用Blender的Geometry Nodes系统,高效地将三维点云数据转化为高质量的科研论文配图。通过实战步骤,从数据导入、节点化几何处理、材质赋予到Cycles渲染引擎的优化设置,手把手教你制作出专业、美观的可视化图像,助力科研成果展示。

hp777的博客 268

从仿真到实践:两级直接耦合放大电路的静态工作点协同调试指南

本文详细解析了两级直接耦合放大电路的静态工作点协同调试方法,从仿真到实践提供系统指南。重点介绍了Rc2电阻调整技巧、集电极电位测量方法及常见问题排查,帮助工程师解决各级静态工作点相互影响的难题,提升模拟电路设计效率。

weixin_29189373的博客 125

C++操作minIO—获取桶和文件列表

代码 #include <iostream> #include <aws/core/http/HttpRequest.h> #include <aws/s3/S3Client.h> #include <aws/s3/model/CreateBucketRequest.h> #include <aws/core/Aws.h> #include <aws/core/auth/AWSCredentialsProvider.h> #includ

Timorously的博客 4444

解密微信DAT图片:一键转换JPG/PNG/GIF的实用指南

本文详细解析微信DAT图片的加密机制及转换方法,提供从定位文件到使用WeijieSoft工具一键转换JPG/PNG/GIF的完整指南。涵盖新旧版微信存储路径差异、批量处理技巧及常见问题解决方案,帮助用户高效恢复重要图片并释放存储空间。

weixin_29305337的博客 3626

AWS S3文件存储工具类

【代码】AWS S3文件存储工具类。

liudachu的博客 812

华为海思IC设计岗位笔试全解析:物理、电路与工艺三大方向备考指南

本文全面解析华为海思IC设计岗位笔试的物理、电路与工艺三大方向备考要点。针对物理设计方向,重点讲解半导体能带理论、载流子输运机制等核心考点;电路设计方向涵盖Verilog语法、UVM验证等关键技术;工艺方向则深入探讨FinFET工艺、光刻技术等前沿知识。提供高效备考策略和应试技巧,助力考生提升通过率。

weixin_29196613的博客 1091

工作:三菱PLC与伺服之CC-Link IE Field Network通讯应用

CC-LINK-IE

好记性不如烂笔头 2万+

aws s3 獲取所有文件_AWS S3文件存储工具类

/*** 提供对aws s3 文件操作** @auther xushy* since 20200724*///@Slf4j@Componentpublic classS3Util {private BasicAWSCredentials awsCreds = null;private AmazonS3 s3 = null;@AutowiredS3Config s3Config;@PostConst...

weixin_28706923的博客 399

S32K3xx系列DMA驱动实战:EB配置与Mcal接口应用全解析(含Adc硬件触发示例)

本文深入解析S32K3xx系列MCU的DMA驱动开发,涵盖EB工具配置与Mcal接口应用,特别包含ADC硬件触发示例。通过详细架构分析、实战配置步骤和工业级应用案例,帮助开发者掌握AUTOSAR环境下DMA高效数据传输技术,提升汽车电子和工业控制系统的性能。

weixin_29162439的博客 467

aws-sdk-s3 C++操作minio进行文件上传和下载

#pragma once #include "TDPreDefine.h" #include &lt;aws/s3/S3Client.h&gt; #include &lt;aws/core/Aws.h&gt; #include &lt;aws/core/auth/AWSCredentialsProvider.h&gt; using namespace Aws::S3; using namespac...

u012453032的博客 9386

Android 12 系统横屏时,开机动画有两秒显示不全

平板系统默认横屏时,开机会旋转90度,显示的分辨率WxH,会变成HxW.但又会很快被SurfaceFlinger的SurfaceFlinger::processDisplayChanged 娇正。所以为了保险,可以在开机动画没结束之前,禁止旋转事件。在Android 12 产品定制化开发中,由于系统默认方向为竖屏,平板电脑要横屏显示。系统在开机时,有时因为旋转,会出现动画只显示一部分。

448313096@qq.com 1190

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

Amazon S3 Compatibility 兼容API 封装AWS S3工具类 生成预前面url跨域问题解决

使用Amazon S3 兼容性 API,可以继续使用他们现有的 Amazon S3 工具(例如,SDK 客户端)并对他们的应用程序进行最小的更改以使用对象存储。Amazon S3 兼容性 API和对象存储数据集是一致的。如果使用Amazon S3 Compatibility API将数据写入对象存储,则可以使用本机对象存储API 读回数据,反之亦然。

yunnuo的博客 2268

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Minio工具类 - Java

依赖 <dependency> <groupId>io.minio</groupId> <artifactId>minio</artifactId> <version>${minio.version}</version> </dependency> 项目启动,创建bean package com.mgmiot.dlp.file.filev2.config; import com.mg

流氓兔的博客 3万+

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

java上传图片(AmazonS3)

1.导入架包 <dependency> <groupId>com.amazonaws</groupId> <artifactId>aws-java-sdk-s3</artifactId> <version>1.11.347</version> </dependency> 2.创建工具类 import com.amazonaws.auth.AWSStaticCredentialsProvider; impo

weixin_42932323的博客 1079

AWS-S3 图片上传-私有

@Component public class AwsConfig { public static String AWS_S3_ACCESS_KEY ; public static String AWS_S3_SECRET_KEY ; public static String BUCKET_NAME ; @Value("${awsS3AccessKey}") public void setAwss3AccessKey(String awss3AccessKey)

qq_31247573的博客 897
上一篇: 【FTP工具类】提供FTP服务器的连接, 查找文件目录,及读取文件内容等操作
下一篇: 如何离线下载网易云音乐
gamedev˚
博客等级 码龄12年 280粉丝 293原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值