华为云大文件分片上传操作

记录一下：

        由于spring boot上传 都是使用 MultipartFile file，华为云提供的文档都是File 有一定出入所以结合自己实际需求进行完善，以记录心路历程，这套也可使用在阿里云的分片上传

华为云官方文档：

分段上传_对象存储服务 OBS_Java_上传对象_华为云

分段上传分为如下3个步骤：

1. 初始化分段上传任务（ObsClient.initiateMultipartUpload）。
2. 逐个或并行上传段（ObsClient.uploadPart）。
3. 合并段（ObsClient.completeMultipartUpload）或取消分段上传任务(ObsClient.abortMultipartUpload)。

String endPoint = "obs.east.myhuaweicloud.com"; // 这个是华为云存储服务的地址写自己的
String ak = "*** Provide your Access Key ***";  // 这个是AK密钥
String sk = "*** Provide your Secret Key ***";  // 这是秘密访问密钥

AK/SK（Access Key ID/Secret Access Key）即访问密钥，包含访问密钥ID（AK）和秘密访问密钥（SK）两部分，华为云通过AK识别用户的身份，通过SK对请求数据进行签名验证，用于确保请求的机密性、完整性和请求者身份的正确性。

// 创建ObsClient实例 也就是连接上华为obs存储服务器 ,这个一般是写个bean方法，系统启动时就连接好
ObsClient obsClient = new ObsClient(ak, sk, endPoint);

// 例如
@Configuration
@Slf4j
public class ObsBeanConfig {
    @Value("${obs.ak}")
    private String ak;
    @Value("${obs.sk}")
    private String sk;
    @Value("${obs.endpoint}")
    private String endPoint;

    @Bean
    public ObsClient getObsClient() {
        log.info("obs开始加载");
        return new ObsClient(ak, sk, endPoint);
    }
}

       
    // 每个分片的大小，用于计算文件有多少个分片。单位为字节。
    final long partSize = 10 * 1024 * 1024L;   //10 MB。
 String bucketName = "华为obs桶名称，申请了华为obs后自己配的名称";

          // objectName 是路径，分片文件最终整合的路径
       String objectName = "multipartUpload/"+objectName;
        // 创建InitiateMultipartUploadRequest对象。
 InitiateMultipartUploadRequest request = new InitiateMultipartUploadRequest(bucketName, objectName);
InitiateMultipartUploadResult prebuilt = obsClient.initiateMultipartUpload(request);
  // 获取全局id
        String uploadId = prebuilt.getUploadId();
        // 如果并发量大的话 初始化线程池  20线程数量
      //  ExecutorService executorService = Executors.newFixedThreadPool(20);
        // partTags是PartEtag的集合。PartEtag由分片的ETag和分片号组成。
        List<PartEtag> partTags = new ArrayList<PartEtag>();
        // 计算有多少个分片
        int partCount = (int) (fileLength / partSize);
        // 如果取余数不为零则追加一个
        if (fileLength % partSize != 0) {
            partCount++;
        }

 try {
            for (int i = 0; i < partCount; i++) {
                long startPos = i * partSize;
                long curPartSize = (i + 1 == partCount) ? (fileLength - startPos) : partSize;
                // 跳过已经上传的分片。
                inputStream.skip(startPos);
                UploadPartRequest uploadPartRequest = new UploadPartRequest();
                uploadPartRequest.setBucketName(bucketName);
                uploadPartRequest.setObjectKey(objectName);
                uploadPartRequest.setUploadId(uploadId);
                uploadPartRequest.setInput(inputStream);
                // 设置分片大小。除了最后一个分片没有大小限制，其他的分片最小为100 KB。
                uploadPartRequest.setPartSize(curPartSize);
                // 设置分片号。每一个上传的分片都有一个分片号，取值范围是1~10000，如果超出此范围，Obs将返回InvalidArgument错误码。
                uploadPartRequest.setPartNumber( i + 1);
                // 每个分片不需要按顺序上传，甚至可以在不同客户端上传，obs会按照分片号排序组成完整的文件。
                UploadPartResult uploadPartResult = obsClient.uploadPart(uploadPartRequest);
                // 每次上传分片之后，ObS的返回结果包含PartETag。PartETag将被保存在partTags中。
                partTags.add(new PartEtag(uploadPartResult.getEtag(), uploadPartResult.getPartNumber()));
            }
            // 开始线程池时候使用：等待上传完成
         /*   executorService.shutdown();
            while (!executorService.isTerminated())
            {
                try
                {
                    executorService.awaitTermination(5, TimeUnit.SECONDS);
                }
                catch (InterruptedException e)
                {
                    e.printStackTrace();
                }
            }*/
            // 合并分片段
            // 在执行完成分片上传操作时，需要提供所有有效的partETags。obs收到提交的partETags后，会逐一验证每个分片的有效性。当所有的数据分片验证通过后，obs将把这些分片组合成一个完整的文件。
            CompleteMultipartUploadRequest multipartUploadRequest = new CompleteMultipartUploadRequest(bucketName, objectName, uploadId, partTags);
            // 完成分片上传。
            CompleteMultipartUploadResult completeMultipartUploadResult = obsClient.completeMultipartUpload(multipartUploadRequest);
            // 返回全局id，桶名，对象名称 用于后续处理 比如取消分片上传，查询分片信息等
            Map<String,Object> maps = new HashMap<>();
            maps.put("objectName",objectName);
            maps.put("bucketName",bucketName);
            maps.put("uploadId",uploadId);
            return maps;
        }catch (Exception e){
            log.error("分片循环上传失败！"+e.getMessage());
            return null;
        }