华为云上传大文件得处理方式

最新推荐文章于 2023-10-20 16:11:20 发布
最新推荐文章于 2023-10-20 16:11:20 发布
阅读量1.4k 收藏 3
点赞数
分类专栏： spring 文章标签： 华为云 java servlet
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Michesl/article/details/127249029
版权
本文介绍了如何使用华为云OBS服务进行大文件上传，通过分段和多线程优化传输速度。利用线程池，将线程数量设定为5，可根据需求调整，以实现更高效的上传效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

       华为云OBS的存储是通过对本地的文件上传到华为云指定的位置进行上传、为了提高在传输过程中的速度,我们采用了对文件的分段多线程的方式进行上传.

       我们这里采用了线程池进行上传,且线程的数量暂定为5,我们可将其进行更改来对线程池中的线程的多少进行更改,以达到我们的上传速度.

 参数说明:

        partSize: 每段上传的文件的大小

1.代码片段


        // Endpoint以北京四为例，其他地区请按实际情况填写。
        String endPoint = "https://obs.cn-north-4.myhuaweicloud.com";
        String ak = "*** Provide your Access Key ***";
        String sk = "*** Provide your Secret Key ***";
//华为桶的指定的名称
        final String bucketName = "";
//需上传到的指定的位置
        final String objectKey = "";
// 创建ObsClient实例
        final ObsClient obsClient = new ObsClient(ak, sk, endPoint);
// 初始化线程池
// 设定自己想要的线程数
        ExecutorService executorService = Executors.newFixedThreadPool(5);
        final File largeFile = new File(localPathName);

// 初始化分段上传任务
        InitiateMultipartUploadRequest request = new InitiateMultipartUpload
最低0.47元/天 解锁文章
华为云大文件分片上传操作
AngerJava的博客
03-24 3018
记录一下： 由于spring boot上传 都是使用 MultipartFile file，华为云提供的文档都是File 有一定出入所以结合自己实际需求进行完善，以记录心路历程，这套也可使用在阿里云的分片上传 华为云官方文档： 分段上传_对象存储服务 OBS_Java_上传对象_华为云 分段上传分为如下3个步骤： 初始化分段上传任务（ObsClient.initiateMultipartUpload）。 逐个或并行上传段（ObsClient.uploadPart）。 合并段（O...
华为云OBS文件上传和下载
热门推荐
boomxiaolong的博客
12-30 1万+
华为云Obs文件上传和下载 往华为云Obs中上传和下载文件 本来一开始打算把文件上传到华为云服务器中，可是服务器容量有限，所以找了一款华为云Obs对象存储服务，还是比较便宜的，40G3年20RMB，文件的上传和下载真是折磨死了，好在还是弄出来了 使用的技术 前端是Vue框架，element-ui 后端是Springboot项目 服务器是华为云 文件上传下载地方是华为云Obs对象存储服务 合理的...
网页上传视频 服务器,上传网页到云服务器视频
weixin_36245958的博客
08-06 440
上传网页到云服务器视频 内容精选换一换将文件上传至Windows云服务器一般会采用MSTSC远程桌面连接的方式。本节为您介绍本地Windows计算机通过远程桌面连接，上传文件至Windows云服务器的操作方法。Windows云服务器可以访问公网。在本地Windows计算机上，单击“开始”，在出现的“搜索程序和文件”输入框中输入mstsc。弹出远程桌面连接对话框。弹出远程桌面连将文件上传至Windo...
华为云服务器 大文件,云服务器上传大文件
weixin_39638304的博客
08-09 460
云服务器上传大文件 内容精选换一换本节操作介绍本地MacOS系统主机通过安装“Microsoft Remote Desktop for Mac”工具向Windows云服务器传输文件的操作步骤。本地主机已安装Microsoft Remote Desktop for Mac或其他Mac OS系统适用的远程连接工具。下载Microsoft Remote Desktop for本节操作以CentOS操作系...
华为云文件上传（单个上传和分段上传）
Missying55的博客
10-20 2521
华为云文件上传（单个和分段）
如何使用Java在华为云OBS上传大文件？
网络技术联盟站
08-25 2178
在上面的代码中，我们首先定义了OBS服务的端点、AK/SK密钥、OBS桶的名称和要上传的对象的对象键。在使用华为云OBS上传大文件时，我们可以使用Java代码实现，本文将介绍利用Java代码上传大文件至华为云OBS的方法。在本文中，我们介绍了华为云OBS的概念和特点，以及如何使用Java代码将大文件上传到OBS。通过学习和使用OBS，我们可以更好地管理和存储大量的数据，提高数据的安全性和可靠性，提高工作效率和服务质量。上述代码中，首先配置了OBS连接信息，创建OBS客户端，并创建上传请求。
华为obs云批量创建上传文件
04-08
用于展示华为云obs区域存储及文件批量上传，解决404静态页面访问自动生成，微信检测云域名接口（接口已写出，检测api需自行解决）
华为云如何复制文件到服务器,如何复制本地文件至云服务器
weixin_39574869的博客
08-09 1392
如何复制本地文件至云服务器 内容精选换一换本节操作介绍本地Linux操作系统主机通过SCP向Linux云服务器传输文件的操作步骤。登录管理控制台，在ECS列表页面记录待上传文件的云服务器的弹性公网IP。上传文件在本地Linux操作系统主机上执行以下命令，传输文件到Linux操作系统云服务器。scp 本地主机文件地址 用户名@弹性公网IP:云服务器文件地址例如：将本地文件 /hom华为云帮助中心，为...
C# 对移动云服务器文件进行下载或上传实例操作
01-27
PUT方法也可以用于上传文件。 5. **HTTPS安全通信**：移动云服务器通常使用HTTPS协议以确保数据传输的安全性。C#中的HttpClient支持HTTPS，需要配置证书以建立安全连接。 6. **云服务API**：移动云服务器提供商...
华为OBS上传文件
肖潇不写代码
12-15 4110
首先在华为的OBS控制台下创建桶和文件夹： 后端代码： controller @RestController @RequestMapping("/project/obs") @CrossOrigin public class OBSController { @Autowired OBSService obsService; @PostMapping("/upload") public Result uploadObsFile(MultipartFile fil
大文件搬迁-- 借助obs
MusicDancing的博客
11-24 782
111
华为云文件服务器配置,华为云 文件服务器配置
weixin_36373860的博客
08-10 777
华为云 文件服务器配置 内容精选换一换配置应用系统的跨云热备容灾方案如图1所示。在如图1所示的方案中，用户的生产数据中心的应用系统使用MySQL作为数据库，应用系统与MySQL均热备容灾到华为云上。用户的生产数据中心与华为云之间使用专线进行网络连接。当生产数据中心发生灾难时，用户需要将原生产数据中心的业务故障转移到容灾端(即华为云)，并将业务流量的请求引流到华为云上ELB，实对象存储服务OBS是华...
.net core 上传文件大小限制
ddsthinkyou123的专栏
08-08 7844
参考网址：https://docs.microsoft.com/zh-cn/aspnet/core/mvc/models/file-uploads?view=aspnetcore-2.2 1、IIS 部署 上传大小大概不到30M，可以查看IIS 配置。如图。我们可以改这个数据。图中的数据我已经加了一个零 2、kestrel，就是配置一个FormOption，在startup类中写入： ...
华为云上传文件
weixin_50613684的博客
03-03 302
华为云上传文件
使用华为云OBS存储上传文件
toString的博客
11-05 2784
最近做的项目需要用到上传多媒体文件的功能,但是如果往自己服务器存放数据的话，数据量大的话服务器根本没有那么大的空间,因为我这个可能涉及到上传视频,音频等大容量的文件,所以网上查询了下，决定使用华为的OBS 话不多说,在开通了华为的OBS服务之后，需要填写的信息比较重要的几个部分,第一个就是区域位置,第二个是访问权限,第三个是存储类型,这几个必须要记住,因为后面在初始化的时候需要设置的参数必须和注册时填写的一致，否则无法创建,另外就是3个很重要的密钥信息了，分别是 AccessKe...
SpringBoot如何切片处理视频大文件
Mr_Zang666的博客
09-27 1115
需求： 项目要支持大文件上传功能，经过讨论，初步将文件上传大小控制在20G内，因此自己需要在项目中进行文件上传部分的调整和配置，自己将大小都以20G来进行限制。 PC端全平台支持，要求支持Windows,Mac,Linux 支持所有浏览器。 支持文件批量上传 支持文件夹上传，且要求在服务端保留层级结构。文件夹数量要求支持到10W。 支持大文件断点续传，要求刷新浏览器，重启浏览器，重启电脑后仍然能够继续上传。文件大小要求能够支持到20个G。 支持自动加载本地文件，要求能够自动加载指定的本地文件。
.NETCore 控制台发布文件极限压缩到5kb
farway000的博客
09-14 721
对于.NET Core开发者来说，相较于传统的.NET Framework，我们获得了非常不错的体验，通过依赖注入等多种技术的简单运用，使我们得以实现许多优雅的功能，尤其是.NET Cor...
分片上传方案
nkc的博客
08-30 1099
分片上传方案
Amazon S3上传、分段上传、重启续传介绍（Android）
qq_33208587的博客
07-22 7304
上传文件时，有时候需要上传大文件，但是当网络不好、或者断网时，容易导致之前上传的内容失败，功亏一篑。这时就可以使用分段上传。 分段上传就是将文件分为几部分分开上传，哪一部分上传失败就重传这部分内容，最后所有部分上传完成，再合在一起。 ...
django + vue + 华为云 obs 实现大文件上传
最新发布
03-10
<think>好的，我现在需要解决用户的问题：如何用Django、Vue和华为云OBS实现大文件上传。首先，我得理清楚整个流程，然后分步骤思考每个部分怎么实现。 用户提到了Django作为后端，Vue作为前端，华为云OBS作为存储服务。大文件上传通常会遇到网络不稳定、文件过大导致上传失败的问题，所以可能需要分片上传和断点续传的方案。华为云OBS支持分片上传，这点我记得没错的话，他们的API应该有相关的方法。 首先，前端部分，Vue需要实现文件分片。用户选择文件后，前端将文件切割成多个小块，每个分片单独上传。这里可能需要用到File API的slice方法。同时，为了管理上传进度和状态，可能需要一个任务队列，或者使用Promise.all来处理并发上传，但要注意浏览器并发限制，可能需要控制同时上传的分片数量。 然后，后端Django需要接收这些分片，可能需要对每个分片进行验证，比如校验MD5，确保分片正确。不过这里有个疑问，是否需要后端处理分片的上传，或者直接让前端上传到OBS？因为如果直接让前端上传到OBS，后端可能只需要生成预签名URL，这样可以减少服务器的负担。华为云OBS的预签名URL应该可以支持分片上传，这样前端直接和OBS交互，后端负责生成这些URL和完成上传后的处理。 这样的话，后端Django的角色可能主要是生成预签名URL，以及处理上传完成后的回调。比如，前端在上传所有分片后，通知后端，后端再向OBS发送完成分片上传的请求，合并所有分片。这样服务器不需要处理大量的文件传输，减轻压力，同时更安全，因为文件直接传到OBS，不经过服务器。 那具体步骤可能是这样的： 1. 前端选择文件，计算文件的MD5或其他哈希值作为唯一标识，用于后续分片标识和校验。 2. 前端向后端请求初始化分片上传，后端向OBS发起创建分片上传任务，获取Upload ID，并返回给前端。 3. 前端将文件分片，每个分片按顺序上传到OBS。对于每个分片，前端需要向后端获取该分片的预签名URL，然后直接PUT上传到OBS。 4. 所有分片上传完成后，前端通知后端完成上传，后端调用OBS的Complete Multipart Upload接口，合并分片。 5. 后端处理可能的回调，验证上传结果，返回最终的文件信息给前端。 这样，后端主要处理的是生成预签名URL、初始化上传和完成上传，而分片的上传由前端直接与OBS交互，效率更高，尤其是大文件的情况下。 接下来，需要确认华为云OBS的SDK是否支持生成预签名的分片上传URL。查阅华为云OBS文档，发现他们确实支持生成预签名URL，并且支持分片上传的相关操作。Python SDK中有create_multipart_upload, upload_part, complete_multipart_upload等方法。所以Django后端可以使用这些方法来生成每个分片的预签名URL。 另外，前端需要处理分片的上传，可能需要使用axios或其他HTTP库来发送PUT请求到OBS的预签名URL。每个分片的上传顺序可能不重要，因为OBS会根据分片号进行合并，但需要确保每个分片的编号正确。 在安全性方面，预签名URL需要有有效期限，防止被恶意利用。同时，后端需要对用户进行身份验证，确保只有授权用户才能获取预签名URL。 可能的挑战包括分片大小的选择，通常OBS对分片大小有最小限制（比如5MB），需要前端分片时注意。另外，前端计算文件的哈希值可能比较耗时，尤其是大文件，需要考虑使用Web Worker或优化算法，避免阻塞主线程。 还有断点续传的问题，前端需要记录已上传的分片，以便在上传中断后恢复时跳过已上传的部分。这可能需要本地存储，比如localStorage或IndexedDB，来保存上传状态。 总结下来，步骤大致如下： 1. 用户选择文件，前端计算文件哈希，向后端请求初始化上传，获取Upload ID和分片信息。 2. 后端使用华为云OBS SDK创建分片上传任务，获取Upload ID，返回给前端。 3. 前端将文件分片，为每个分片向后端获取预签名URL。 4. 后端为每个分片生成预签名URL，前端直接上传分片到OBS。 5. 所有分片上传完成后，前端通知后端，后端调用OBS完成分片合并。 6. 处理回调，返回上传结果给前端。 这样设计的好处是后端压力小，文件直接传到OBS，同时利用OBS的分片功能实现大文件上传。需要处理的关键点包括分片上传的预签名URL生成、前端分片逻辑、断点续传的支持，以及错误处理。 可能还需要考虑文件上传进度的显示，前端需要跟踪每个分片的上传进度，并汇总显示总体进度。这可以通过监听每个分片的上传进度事件，然后计算总和来实现。 另外，华为云OBS可能有上传分片的最大数量限制，需要确保分片数量不超过限制。例如，OBS允许最多10000个分片，所以分片大小需要根据文件大小调整，比如每个分片至少5MB，这样最大支持约50GB的文件。如果文件更大，可能需要调整分片大小。 最后，测试各环节的稳定性，比如网络中断后能否恢复上传，分片上传失败后的重试机制，以及合并分片时的错误处理。</think>### Django + Vue + 华为云OBS实现大文件上传分步指南 --- #### **一、技术方案核心思路** 1. **分片上传**：将大文件切割为多个小分片（如5MB/片），避免单次请求超时。 2. **直传OBS**：前端直接上传分片到华为云OBS，减轻服务器压力。 3. **预签名URL**：后端生成临时安全上传地址，控制权限和有效期。 4. **断点续传**：记录已上传分片，支持中途断网后恢复。 --- #### **二、华为云OBS配置** 1. **创建桶（Bucket）** - 登录华为云控制台，创建OBS桶，设置存储类别（标准/低频）。 - 记录`Endpoint`（如`obs.cn-east-3.myhuaweicloud.com`）和`Bucket名称`。 2. **生成访问密钥** - 在“我的凭证”中获取`AK`（Access Key）和`SK`（Secret Key）。 --- #### **三、Django后端实现** ##### 1. 安装依赖 ```bash pip install django obs-python-sdk ``` ##### 2. 生成预签名URL（核心代码） ```python # views.py from obs import ObsClient def generate_presigned_url(request): ak = 'YOUR_AK' sk = 'YOUR_SK' endpoint = 'obs.cn-east-3.myhuaweicloud.com' bucket_name = 'your-bucket' # 初始化OBS客户端 obs_client = ObsClient(access_key_id=ak, secret_access_key=sk, server=endpoint) # 生成分片上传的Upload ID if request.method == 'POST': file_key = request.POST.get('file_name') resp = obs_client.createMultipartUpload(bucket_name, file_key) upload_id = resp.body['uploadId'] return JsonResponse({'upload_id': upload_id, 'file_key': file_key}) # 生成单个分片的预签名URL elif request.method == 'GET': upload_id = request.GET.get('upload_id') part_number = request.GET.get('part_number') file_key = request.GET.get('file_key') # 生成上传URL（有效期1小时） url = obs_client.createSignedUrl( 'PUT', bucket_name, file_key, expires=3600, headers={'Content-Type': 'application/octet-stream'}, queryParams={ 'partNumber': part_number, 'uploadId': upload_id } ) return JsonResponse({'url': url}) ``` ##### 3. 完成上传合并分片 ```python def complete_upload(request): if request.method == 'POST': upload_id = request.POST.get('upload_id') file_key = request.POST.get('file_key') parts = json.loads(request.POST.get('parts')) # 分片列表[{partNumber: 1, etag: '...'}] obs_client.completeMultipartUpload( bucket_name, file_key, upload_id, parts ) return JsonResponse({'status': 'success'}) ``` --- #### **四、Vue前端实现** ##### 1. 文件分片逻辑 ```vue <template> <input type="file" @change="handleFileSelect"> </template> <script> export default { methods: { async handleFileSelect(e) { const file = e.target.files[0]; const chunkSize = 5 * 1024 * 1024; // 5MB/片 const chunks = Math.ceil(file.size / chunkSize); // 1. 初始化上传任务 const { data: { upload_id, file_key } } = await axios.post('/api/init_upload/', { file_name: file.name }); // 2. 上传所有分片 const uploadedParts = []; for (let i = 0; i < chunks; i++) { const start = i * chunkSize; const end = Math.min(start + chunkSize, file.size); const blob = file.slice(start, end); // 获取分片预签名URL const { data: { url } } = await axios.get('/api/get_upload_url/', { params: { upload_id, part_number: i + 1, file_key } }); // 直传OBS const { headers: { etag } } = await axios.put(url, blob, { headers: { 'Content-Type': 'application/octet-stream' } }); uploadedParts.push({ PartNumber: i + 1, ETag: etag }); } // 3. 通知后端合并分片 await axios.post('/api/complete_upload/', { upload_id, file_key, parts: uploadedParts }); } } } </script> ``` ##### 2. 进度显示优化 ```javascript // 使用axios拦截器跟踪进度 axios.interceptors.request.use(config => { if (config.url.includes('obs.myhuaweicloud.com')) { config.onUploadProgress = progressEvent => { const percent = Math.round((progressEvent.loaded / progressEvent.total) * 100); console.log(`分片 ${config.params.partNumber} 上传进度: ${percent}%`); }; } return config; }); ``` --- #### **五、关键问题处理** 1. **分片大小选择** - 华为云OBS要求分片范围：5MB ≤ 分片 ≤ 5GB - 建议分片大小：10~20MB（平衡网络效率和并发性能） 2. **断点续传实现** - 前端通过`localStorage`记录已上传分片的`partNumber`和`ETag`。 3. **文件唯一性校验** - 后端可在初始化时校验文件MD5，避免重复上传。 --- #### **六、安全增强建议** 1. **预签名URL有效期**：建议设置为10~30分钟，防止URL泄露风险。 2. **服务端校验**：合并分片后，后端调用OBS接口校验文件完整性。 3. **HTTPS传输**：OBS桶启用HTTPS，确保数据传输加密。 --- #### **七、华为云OBS费用注意** - 分片上传会计费为`PutObject`请求次数（每分片一次）。 - 存储费用根据文件总大小计算（标准/低频存储不同定价）。 --- 通过以上步骤，可实现稳定的大文件上传方案，结合Django的管理能力、Vue的交互体验和华为云OBS的高可靠性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值