一个企业级的文件上传组件应该是什么样的

SmartUpload文件上传组件实现详解 是一个用于文件上传的Java组件,它简化了Web应用中文件上传和下载的操作。通过封装底层的细节,提供了一套API,允许开发者以直观的方式处理文件上传和下载的逻辑,而无需关注复杂的HTTP协议细节。它支持多种文件上传方式,包括表单提交、带文件的邮件附件等,并允许设置上传文件的大小限制、文件类型过滤等参数。在许多旧版的JSP/Servlet应用中,因其简单易用而被广泛采用。组件提供了一系列核心类,以支持文件上传的各种功能。 阅读详情

前言

大家好这里是阳九,一个中途转行的野路子码农,热衷于研究和手写前端工具.

我的宗旨就是 万物皆可手写

新手创作不易,有问题欢迎指出和轻喷,谢谢

本文适合有一定node后端基础的前端同学,如果对后端完全不了解请恶补前置知识。

废话不多说,直接进入正题。


我们来看一下,各个版本的文件上传组件大概都长什么样

等级功能
青铜-垃圾玩意原生+axios.post
白银-体验升级粘贴,拖拽,进度条
黄金-功能升级断点续传,秒传,类型判断
铂金-速度升级web-worker,时间切片,抽样hash
钻石-网络升级异步并发数控制,切片报错重试
王者-精雕细琢慢启动控制,碎片清理等等

1.最简单的文件上传

文件上传,我们需要获取文件对象,然后使用formData发送给后端接收即可

function upload(file){
    let formData = new FormData();
    formData.append('newFile', file);
    
    axios.post(
    'http://localhost:8000/uploader/upload',
    formData, 
    { headers: { 'Content-Type': 'multipart/form-data' } }
    )
}

复制代码

2.拖拽+粘贴+样式优化

懒得写,你们网上找找库吧,网上啥都有,或者直接组件库解决问题

3.断点续传+秒传+进度条

文件切片

我们通过将一个文件分为多个小块,保存到数组中.逐个发送给后端,实现断点续传。

image.png

// 计算文件hash作为id
const { hash } = await calculateHashSample(file)
//todo 生成文件分片列表 
// 使用file.slice()将文件切片
const fileList = [];
const count = Math.ceil(file.size / globalProp.SIZE);
const partSize = file.size / count;
let cur = 0  // 记录当前切片的位置
for (let i = 0; i < count; i++) {

    let item = { 
    chunk: file.slice(cur, cur + partSize), 
    filename: `${hash}_${i}`
    };
    
    fileList.push(item);
}
复制代码

计算hash

为了让后端知道,这个切片是某个文件的一部分,以便聚合成一个完整的文件。 我们需要计算完整file的唯一值(md5),作为切片的文件名。

// 通过input的event获取到file
<input type="file" @change="getFile">
// 使用SparkMD5计算文件hash,读取文件为blob,计算hash
let fileReader = new FileReader();

fileReader.onload = (e)=>{
let hexHash = SparkMD5.hash(e.target.result)
; console.log(hexHash); 
};
复制代码

断点续传+秒传(前端)

我们此时有保存了100个文件切片的数组,遍历切片连续向后端发送axios.post请求即可 设置一个开关,实现启动-暂停功能。

如果我们传了50份,关掉了浏览器怎么办?

此时我们需要后端配合,在上传文件之前,先检查一下后端接收了多少文件。

当然,如果发现后端已经上传过这个文件,直接显示上传完毕(秒传)

// 解构出已经上传的文件数组 文件是否已经上传完毕 
// 通过文件hash和后缀查询当前文件有多少已经上传的部分
const {isFileUploaded, uploadedList} = await axios.get(
`http://localhost:8000/uploader/count 
?hash=${hash}         
&suffix=${fileSuffix}
`)
复制代码

断点续传+秒传(后端)

至于后端的操作,就比较简单了

  1. 根据文件hash创建文件夹,保存文件切片
  2. 检查某文件的上传情况,通过接口返回给前端

例如以下文件切片文件夹

image.png

//! --------通过hash查询服务器中已经存放了多少份文件(或者是否已经存在文件)------
function checkChunks(hash, suffix) { 
//! 查看已经存在多少文件 获取已上传的indexList 
const chunksPath = `${uploadChunksDir}${hash}`;
const chunksList = (fs.existsSync(chunksPath) && fs.readdirSync(chunksPath)) || []; 
const indexList = chunksList.map((item, index) =>item.split('_')[1]) 
//! 通过查询文件hash+suffix 判断文件是否已经上传 
const filename = `${hash}${suffix}`
const fileList = (fs.existsSync(uploadFileDir) && fs.readdirSync(uploadFileDir)) || []; 
const isFileUploaded = fileList.indexOf(filename) === -1 ? false : true 

console.log('已经上传的chunks', chunksList.length); 
console.log('文件是否存在', isFileUploaded); 

return { 
    code: 200,
    data: { 
        count: chunksList.length, 
        uploadedList: indexList, 
        isFileUploaded: isFileUploaded
        }
      }
    }
复制代码

进度条

实时计算一下已经成功上传的片段不就行了,自行实现吧

4.抽样hash和webWorker

因为上传前,我们需要计算文件的md5值,作为切片的id使用。

md5的计算是一个非常耗时的事情,如果文件过大,js会卡在计算md5这一步,造成页面长时间卡顿。

我们这里提供三种思路进行优化

抽样hash(md5)

抽样hash是指,我们截取整个文件的一部分,计算hash,提升计算速度.

1. 我们将file解析为二进制buffer数据,

2. 抽取文件头尾2mb, 中间的部分每隔2mb抽取2kb

3. 将这些片段组合成新的buffer,进行md5计算。

图解:

image.png

样例代码

//! ---------------抽样md5计算-------------------
function calculateHashSample(file) {

    return new Promise((resolve) => {
        //!转换文件类型(解析为BUFFER数据 用于计算md5)
        const spark = new SparkMD5.ArrayBuffer();
        const { size } = file;
        const OFFSET = Math.floor(2 * 1024 * 1024); // 取样范围 2M
        const reader = new FileReader();
        let index = OFFSET;
        // 头尾全取,中间抽2字节
        const chunks = [file.slice(0, index)];
        while (index < size) {
            if (index + OFFSET > size) {
                chunks.push(file.slice(index));
            } else {
                const CHUNK_OFFSET = 2;
                chunks.push(file.slice(index, index + 2),
                    file.slice(index + OFFSET - CHUNK_OFFSET, index + OFFSET));
            }
            index += OFFSET;
        }
        // 将抽样后的片段添加到spark
        reader.onload = (event) => {
            spark.append(event.target.result);
            resolve({
                hash: spark.end(),//Promise返回hash
            });
        }
        reader.readAsArrayBuffer(new Blob(chunks));
    });
}
复制代码

webWorker

除了抽样hash,我们可以另外开启一个webWorker线程去专门计算md5.

webWorker: 就是给JS创造多线程运行环境,允许主线程创建worker线程,分配任务给后者,主线程运行的同时worker线程也在运行,相互不干扰,在worker线程运行结束后把结果返回给主线程。

具体使用方式可以参考MDN或者其他文章

使用 Web Workers - Web API 接口参考 | MDN (mozilla.org)

一文彻底学会使用web worker - 掘金 (juejin.cn)

时间切片

熟悉React时间切片的同学也可以去试一试,不过个人认为这个方案没有以上两种好。

不熟悉的同学可以自行掘金一下,文章还是很多的。

这里就不多做论述,只提供思路

时间切片也就是传说中的requestIdleCallback,requestAnimationCallback 这两个API了,或者高级一点自己通过messageChannel去封装。

切片计算hash,将多个短任务分布在每一帧里,减少页面卡顿。

5.文件类型判断

  • 简单一点,我们可以通过input标签的accept属性,或者截取文件名来判断类型
<input id="file" type="file" accept="image/*" />

const ext = file.name.substring(file.name.lastIndexOf('.') + 1);
复制代码

当然这种限制可以简单的通过修改文件后缀名来突破,并不严谨。

  • 通过文件头判断文件类型

我们将文件转化为二进制blob,文件的前几个字节就表示了文件类型,我们读取进行判断即可。

比如如下代码

// 判断是否为 .jpg 
async function isJpg(file) {
  // 截取前几个字节,转换为string
  const res = await blobToString(file.slice(0, 3))
  return res === 'FF D8 FF'
}
// 判断是否为 .png 
async function isPng(file) {
  const res = await blobToString(file.slice(0, 4))
  return res === '89 50 4E 47'
}
// 判断是否为 .gif 
async function isGif(file) {
  const res = await blobToString(file.slice(0, 4))
  return res === '47 49 46 38'
}
复制代码

当然咱们有现成的库可以做这件事情,比如 file-type 这个库

file-type - npm (npmjs.com)

6.异步并发数控制(重要)

我们需要将多个文件片段上传给后端,总不能一个个发送把? 我们这里使用TCP的并发+实现控制并发进行上传。

image.png

  1. 首先我们将100个文件片段都封装为axios.post函数,存入任务池中
  2. 创建一个并发池,同时执行并发池中的任务,发送片段
  3. 设置计数器i,当i<并发数时,才能将任务推入并发池
  4. 通过promise.race方法 最先执行完毕的请求会被返回 即可调用其.then方法 传入下一个请求(递归)
  5. 当最后一个请求发送完毕 向后端发起请求 合并文件片段

图解

image.png

代码

//! 传入请求列表  最大并发数  全部请求完毕后的回调
function concurrentSendRequest(requestArr: any, max = 3, callback: any) {
    let i = 0 // 执行任务计数器
    let concurrentRequestArr: any[] = [] //并发请求列表

    let toFetch: any = () => {
        // (每次执行i+1) 如果i=arr.length 说明是最后一个任务  
        // 返回一个resolve 作为最后的toFetch.then()执行
        // (执行Promise.all() 全部任务执行完后执行回调函数  发起文件合并请求)
        if (i === requestArr.length) {
            return Promise.resolve()
        }

        //TODO 执行异步任务  并推入并发列表(计数器+1)
        let it = requestArr[i++]()
        concurrentRequestArr.push(it)

        //TODO 任务执行后  从并发列表中删除
        it.then(() => {
            concurrentRequestArr.splice(concurrentRequestArr.indexOf(it), 1)
        })

        //todo 如果并发数达到最大数,则等其中一个异步任务完成再添加
        let p = Promise.resolve()
        if (concurrentRequestArr.length >= max) {
            //! race方法 返回fetchArr中最快执行的任务结果 
            p = Promise.race(concurrentRequestArr)
        }
        //todo race中最快完成的promise,在其.then递归toFetch函数
        if (globalProp.stop) { return p.then(() => { console.log('停止发送') }) }
        return p.then(() => toFetch())
    }

    // 最后一组任务全部执行完再执行回调函数(发起合并请求)(如果未合并且未暂停)
    toFetch().then(() =>
        Promise.all(concurrentRequestArr).then(() => {
            if (!globalProp.stop && !globalProp.finished) { callback() }
        })
    )
}
复制代码

7.并发错误重试

  1. 使用catch捕获任务错误,上述axios.post任务执行失败后,重新把任务放到任务队列中
  2. 给每个任务对象设置一个tag,记录任务重试的次数
  3. 如果一个切片任务出错超过3次,直接reject。并且可以直接终止文件传输

8.慢启动控制

由于文件大小不一,我们每个切片的大小设置成固定的也有点略显笨拙,我们可以参考TCP协议的慢启动策略,

. 设置一个初始大小,根据上传任务完成的时候,来动态调整下一个切片的大小, 确保文件切片的大小和当前网速匹配

  1. chunk中带上size值,不过进度条数量不确定了,修改createFileChunk, 请求加上时间统计
  2. 比如我们理想是30秒传递一个
  3. 初始大小定为1M,如果上传花了10秒,那下一个区块大小变成3M
  4. 如果上传花了60秒,那下一个区块大小变成500KB 以此类推

9.碎片清理

如果用户上传文件到一半终止,并且以后也不传了,后端保存的文件片段也就没有用了。

我们可以在node端设置一个定时任务setInterval,每隔一段时间检查并清理不需要的碎片文件

可以使用 node-schedule 来管理定时任务,比如每天检查一次目录,如果文件是一个月前的,那就直接删除把。

垃圾碎片文件 image.png

后记

来源;https://juejin.cn/post/7187695113597321275

以上就是一个完整的比较高级的文件上传组件的全部功能,希望各位有耐心看到这里的新手小伙伴能够融会贯通。每天进步一点点。

AspUpload组件的文件上传实践教程 AspUpload组件是一个专门用于ASP(Active Server Pages)环境下的文件上传解决方案。它由著名的软件开发公司VbsEdit所开发,旨在简化Web应用中的文件上传过程,提升用户体验。该组件被广泛应用于在线论坛、文件托管网站、内容管理系统等多种互联网服务中。VbsEdit公司成立于1999年,是一家专注于Active Server Pages和VBScript编辑器开发的软件公司。 阅读详情

相关推荐

解决VNC Viewer连接Ubuntu桌面异常:从灰屏到完整菜单栏的实战指南

本文详细解析了使用VNC Viewer连接Ubuntu桌面时出现灰屏或菜单栏缺失的常见原因及解决方案。从桌面环境冲突到配置文件错误,提供了彻底清理系统残留配置、重新安装纯净桌面环境、优化xstartup文件配置等实战步骤,帮助用户快速恢复完整的远程桌面体验。

weixin_30892037的博客 83

大文件切片上传利用WebWorker

大文件切片上传 上传流程 将文件按照最小片段进行切片file.slice() 对切片文件进行校验 利用web worker多任务进行计算,否则会造成浏览器卡顿 将校验后的hash值传给后端,后端返回是否上传,已经上传了多少片段 如果未上传则全部上传,如果上传了一段,则将剩下的文件片段进行上传 上传完成后通知后端合并,后端合并结束返回文件地址 核心代码 切片 /** * 开始文件切片 * @param file * @param size * @returns {*[]} */ functi

weixin_43989307的博客 2176

Neo4j 智能供应链应用源代码简析

本文简析Neo4j智能供应链应用的源代码,让你也可以快速开发自己的供应链应用。

Neo4j 开发者博客 1681

10分钟实现企业级文件上传:Ant Design拖拽组件完全指南

你是否还在为文件上传功能的用户体验不佳而烦恼?普通上传按钮需要多次点击,用户操作流程繁琐;传统表单上传缺乏视觉反馈,用户不知道文件是否正在上传中。本文将带你使用Ant Design的拖拽上传组件(Dragger),从零开始构建一个既美观又实用的文件上传功能,解决这些痛点问题。 读完本文你将学到: - 如何快速集成Ant Design拖拽上传组件 - 自定义上传样式与状态反馈的实现方法 - 文件类...

gitblog_00076的博客 467

【教程】BM1684X-32边缘计算盒子 网络配置教程

BM1684X边缘计算盒子网络配置教程

ShiMetaPi的博客 716

PromptCast实战:如何将时序数据转化为自然语言提示,赋能大模型精准预测

本文详细介绍了PromptCast在时序数据预测中的应用,通过将数值序列转化为自然语言提示,赋能大语言模型实现精准预测。以电力负荷预测为例,展示了数据准备、提示模板设计、模型微调等关键步骤,并对比了传统方法的优劣。Prompt-based Learning的新范式显著提升了预测准确率,为时序分析提供了创新思路。

weixin_30323631的博客 505

Ant Design文件上传组件:企业级文件管理与预览功能实现

在现代企业应用中,文件上传功能是不可或缺的一环,但传统上传方式往往存在体验差、功能单一、兼容性问题等痛点。Ant Design的Upload(上传)组件通过丰富的API和灵活的配置选项,为企业级应用提供了一站式文件管理解决方案。本文将详细介绍如何利用Ant Design Upload组件实现文件上传、拖拽上传、预览、进度显示等核心功能,并提供实际代码示例和最佳实践。 ## 组件基础与核心功能 ...

gitblog_00918的博客 436

SAP-ABAP:SAP客户端管理核心事务码SCC4深度解析

SAP客户端管理核心事务码SCC4深度解析

baidu_35680696的博客 1569

dromara/ujcms-cp文件上传组件设计与实现

在企业级内容管理系统(Content Management System,CMS)开发中,文件上传功能看似简单,实则面临诸多挑战:多类型文件支持、大文件分片上传、图片裁剪压缩、权限验证、进度监控、错误处理等。传统方案往往功能单一、扩展性差,难以满足复杂的业务需求。 ujcms-cp作为ujcms的后台前端项目,采用Vue3+TypeScript技术栈,其文件上传组件设计解决了这些痛点,提供了完整...

gitblog_00500的博客 979

工业级向量检索核心技术:IVF-PQ原理与全流程解析

在大规模高维向量检索场景中,IVF-PQ(倒排索引结合乘积量化)凭借“粗筛范围+细算距离”的双重加速策略,成为核心解决方案。本文将深入解析其原理与全流程,助力开发者掌握这一关键技术。

进一步有进一步的欢喜~ 1200

虚幻商城 Fab 免费资产自动化入库

Fab 商城的所有的免费资产自动化入库

一碗清深的博客 3650

告别繁琐上传:react-dropzone构建企业级文件上传组件指南

你是否还在为实现文件上传功能而头疼?拖拽区域不响应、文件类型无法限制、上传状态没有反馈?本文将带你从入门到精通,使用react-dropzone轻松构建符合企业级需求的文件上传组件。读完本文,你将掌握:基础集成方法、高级功能配置、常见问题解决方案以及性能优化技巧。 ## 什么是react-dropzone? react-dropzone是一个基于React Hook的HTML5拖放文件上传库,

gitblog_00410的博客 496

【雕爷学编程】Arduino动手做(111)---震动提醒模块

37款传感器与执行器的提法,在网络上广泛流传,其实Arduino能够兼容的传感器模块肯定是不止这37种的。鉴于本人手头积累了一些传感器和执行器模块,依照实践出真知(一定要动手做)的理念,以学习和交流为目的,这里准备逐一动手尝试系列实验,不管成功(程序走通)与否,都会记录下来---小小的进步或是搞不掂的问题,希望能够抛砖引玉。

雕爷学编程 1898

自定义Flex文件上传组件

1.定义文件上传的结果事件,它

xjh1991xjh的专栏 813

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

JavaScript组件库中有哪些支持文件上传和下载的控件?

要求:免费,开源,技术支持技术:百度webuploader,分块,切片,断点续传,秒传,MD5验证,纯JS实现,支持第三方软件集成前端:vue2,vue3,vue-cli,html5,webuploader后端:asp.net,.net mvc,.net core,asp,jsp,java,springboot,php,数据库:MySQL,Oracle,SQL Server,达梦,人大金仓,国产数据库。

2501_90646449的博客 886

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

WebUploader文件上传组件:现代Web应用的上传解决方案

WebUploader是由百度FEX团队开发的一款功能强大的文件上传组件,它采用HTML5与FLASH双运行时架构,为开发者提供完整的上传功能支持。无论是简单的单文件上传,还是复杂的大文件分片传输,WebUploader都能提供稳定可靠的解决方案,完美兼容主流浏览器环境。 ## 核心功能特性解析 ### 智能分片上传机制 WebUploader采用先进的分片技术,将大文件自动分割成多个小块进行

gitblog_00087的博客 1157

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

Element Plus上传组件:Upload文件上传与进度管理

还在为文件上传功能而烦恼?Element Plus的Upload组件提供了完整的文件上传解决方案,支持拖拽上传、进度监控、文件预览等丰富功能。本文将深入解析Upload组件的核心特性和最佳实践,助你快速构建专业级文件上传功能。 ## 读完本文你将获得 - Upload组件完整功能解析 - 进度管理的实现原理与最佳实践 - 自定义上传逻辑的深度定制方案 - 常见业务场景的完整代码示例 - 性能优...

gitblog_00537的博客 855

打造企业级文件上传体验:file-uploader高级配置与最佳实践

file-uploader是一个基于shadcn/ui和react-dropzone构建的现代化文件上传组件库,提供直观的拖放界面、实时进度反馈和完善的错误处理机制,帮助开发者轻松实现企业级文件上传功能。无论是简单的单文件上传还是复杂的多文件管理场景,file-uploader都能提供专业且友好的用户体验。 ## 快速上手:从安装到基础使用 ### 一键安装步骤 要开始使用file-uplo

gitblog_00631的博客 929

3分钟掌握Vue文件上传:快速集成企业级上传功能

Vue文件上传组件vue-simple-uploader是一个基于simple-uploader.js构建的Vue.js上传解决方案,专为需要高效、可靠文件上传功能的Vue项目设计。无论你是构建企业级管理系统、内容管理平台还是在线协作工具,这个组件都能提供完整的文件上传生态,支持拖放上传、分块上传、断点续传等高级功能。 ## 🚀 三步完成配置:快速集成上传功能 快速集成Vue文件上传组件只需

gitblog_00474的博客 685

ASPUPLOAD组件实现文件上传完整代码示例与应用详解

或许你会说:“都2025年了,谁还用ASP?但现实是,全球仍有大量金融、政务、制造企业的核心系统运行在IIS+ASP架构之上。它们稳定、高效、低延迟,尤其是在局域网环境中表现优异。ASPUPLOAD 这类组件的存在,正是为了让这些“老兵”继续发光发热。更重要的是,它的设计理念——流式处理、资源隔离、权限最小化、多层校验——放到今天依然不过时。无论是Node.js的busboy,Python的,还是Go的,底层思想一脉相承。

766
上一篇: 1亿条数据批量插入 MySQL,哪种方式最快?
下一篇: 为什么你学不会递归?刷题几个月,告别递归,谈谈我的经验
码趣资源网
博客等级 码龄4年 269粉丝 518原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值