服务器多出5gcore文件,.NetCore下多个文件流生成压缩文件

原有系统的附件都是保存在服务器上的,占用了大量的磁盘空间,如今要切换到AWS S3上做文件存储管理。文件打包下载之前的做法是,后台将文件服务器上的多个文件打包到一个压缩文件中,存放在服务器,后端接口返回压缩文件地址供前端下载;为此,特写下这篇文章来记录此处是如何根据文件流来制作压缩包的。

AWS S3更多存取文件的demo需看官方源码,本文中有下载的实例。

需要引用:AWSSDK.Core、AWSSDK.S3,可从NuGet安装;

需要引用:System.IO.Compression,可从NuGet安装;

在ConfigureServices下单例注入AWS类

public void ConfigureServices(IServiceCollection services)

{

.......

services.AddSingleton();

.........

}

Configure下获取AWS实例

public void Configure(IApplicationBuilder app, IHostingEnvironment env)

{

//......//

Aws.Instance = app.ApplicationServices.GetService();

}

AWS类

public class Aws

{

#region Init

private readonly IConfiguration _cfg;

///

/// 存储桶名称

///

private string bucketName;

///

/// aws Id

///

private readonly string awsAccessKeyId;

///

/// aws Id key

///

private readonly string awsSecretAccessKey;

private IAmazonS3 client;

private AmazonS3Config config = new AmazonS3Config()

{

ServiceURL = "http://s3.amazonaws.com",

RegionEndpoint = Amazon.RegionEndpoint.CNNorth1 //账号在哪个区域就用哪个区域,不然会出现账号401的问题

};

#endregion

public Aws(IConfiguration cfg)

{

_cfg = cfg;

awsAccessKeyId = _cfg["AccessKeyId"];

awsSecretAccessKey = _cfg["SecretAccessKey"];

bucketName = _cfg["BucketName"];

client = new AmazonS3Client(awsAccessKeyId, awsSecretAccessKey, config);

}

///

/// AWS文件批量下载

///

/// 文件相对地址(aws key)

///

public async Task BatchDownload(List fileNames)

{

try

{

byte[] res;

using (MemoryStream ms = new MemoryStream())

{

using (ZipArchive zip = new ZipArchive(ms, ZipArchiveMode.Create, true))

{

foreach (var fileName in fileNames)

{

//通过aws下载文件流

var response = await client.GetObjectAsync(bucketName, newfileName);

var pdfStream= response.ResponseStream;//得到文件流

var pdfBytes = StringHelper.StreamToBytes(pdfStream);//文件流转换成字节

ZipArchiveEntry entry = zip.CreateEntry("abc.pdf");//压缩文件内创建一个文件名为“abc.pdf”,流是什么文件格式就用什么格式,此处我的是pdf格式

using (Stream sw = entry.Open())

{

sw.Write(pdfBytes, 0, pdfBytes.Length);//将文件的字节写到abc.pdf中

}

}

InvokeWriteFile(zip);//重新计算压缩文件的大小,此处参考别人的

int nowPos = (int)ms.Position;

res = new byte[ms.Length];

ms.Position = 0;

ms.Read(res, 0, res.Length);

ms.Position = nowPos;

}

return res;

}

}

catch (Exception ex)

{

throw ex;

}

}

public void InvokeWriteFile(ZipArchive zipArchive)

{

foreach (MethodInfo method in zipArchive.GetType().GetRuntimeMethods())

{

if (method.Name == "WriteFile")

{

method.Invoke(zipArchive, new object[0]);

}

}

}

}

控制器下载压缩文件

///

/// 批量下载

///

///

///

public async Task Packing(List ids)

{

var paths = new List();

//根据Id查询本地对应的文件名称,Id换取文件名称

var bytes = await Aws.Instance.BatchDownload(paths).ToList());

Response.ContentType = "application/octet-stream";

var contentDisposition = "attachment;" + "filename=" + HttpUtility.UrlEncode("XXXX.zip");

Response.Headers.Add("Content-Disposition", new string[] { contentDisposition });

Response.ContentLength = bytes.Length;

Response.Body.Write(bytes, 0, bytes.Length);//发送读取的内容数据到客户端浏览器

Response.Body.Flush();

return new EmptyResult();

}

前端Ajax调用

//后端返回的是文件流

var ids = [1,2,3];

var url = "/PackingByAws";

var form = $("

").attr("action", url).attr("method", "post");

后端为List参数

ids.forEach(function (value) {

form.append($("").attr("type", "hidden").attr("name", "ids").attr("value", value));

})

form.appendTo('body').submit().remove();

第一次写文章,从业也有几年了,一直都是拿来主义。这篇文件也是近期项目遇到的特拿来分享,也是怀着无比忐忑的心情才写下来的,写的不好的地方还请见谅。

一个基于ASP.NET Core的可伸缩、通用的文件服务器。 通常后端项目可能会有头像、图片、音频、视频等上传/下载需求,这些需求都可以抽象为文件服务。 功能特点 支持Linux(推荐)、Windows 可伸缩式架构,支持部署1-N台文件服务器 RESTful架构的API接口,支持多语言客户端 支持文件秒传、断点续传、远程拉取上传 支持为用户指定磁盘空间配额 支持自定义文件处理器 系统架构 Scheme 文件的上传/下载通常由客户端直接与文件服务器交互,上传时需要提供代表用户身份token(由业务服务器生成),成功后会返回文件根地址。 也可以直接由业务服务器上传返回文件根地址给客户端。 源码中包含基于.Net Standard的服务端SDK,可以生成token、上传文件等 源码中包含基于.Net Standard的客户端SDK,可以上传/下载文件等 后端使用 配置业务服务器 //Startup.cs代码片段 public void ConfigureServices(IServiceCollection services) { //.... services.AddFileService(opts => { opts.Host = "fs.mondol.info"; //文件服务器域名 opts.AppSecret = "xxxxxx"; //加密密钥,需要与文件服务器相同 }); } 生成访问令牌 IFileServiceManager fileSvceMgr; //此实例可通过DI框架获得 //根据业务规定其意义,例如:1-代表管理员,2-代表用户 var ownerType = 2; var ownerId = 2; //如果ownerType=2,则为用户ID var validTime = TimeSpan.FromDays(2); //token有效期 var ownerToken = fileSvceMgr.GenerateOwnerTokenString(ownerType, ownerId, validTime); 前端使用 文件上传 IFileServiceClient fileClient; //此实例可通过DI框架获得 var ownerToken = "业务服务器返回的token"; var periodMinute = 0; //有效期,0不过期 var updResult = await fileClient.UploadAsync(ownerToken, "文件路径", periodMinute); var url = updResult.Data.Url; //得到文件根地址 URL格式说明 完整URL格式是这样的:https://domain.com/{fileToken}/{handler}/{modifier} fileToken:是本次上传文件的唯一标识符 handler:文件处理器,可以是image(图片处理器)、video(视频处理器)、raw(返回原文件)等 modifier:【可选】文件处理器参数,例如,image处理器,可以指定128x128_png 文件上传成功后返回的文件根地址(updResult.Data.Url)就是截至到https://domain.com/{fileToken},URL后面部分由客户端自己去拼接 下面举例说明: 下载原文件 文件根地址/raw,例如: http://file.domain.com/files/1iYQTU7fEUgaa~URSVwaCqQKFml_IAAAAAgAAAAbhmsFjiUUQwCPn2ngI1QcvsSp0AA/raw 下载128x128大小的缩略图(原文件是图像) 文件根地址/image/128x128,例如: http://file.domain.com/files/1iYQTU7fEUgaa~URSVwaCqQKFml_IAAAAAgAAAAbhmsFjiUUQwCPn2ngI1QcvsSp0AA/image/128x128 下载128宽,高等比缩放的缩略图(原文件是图像) 文件根地址/image/128x,例如: http://file.domain.com/files/1iYQTU7fEUgaa~URSVwaCqQKFml_IAAAAAgAAAAbhmsFjiUUQwCPn2ngI1QcvsSp0AA/image/128x 原图是JPG格式,下载png格式的图像 文件根地址/image/raw_png,例如: http://file.domain.com/files/1iYQTU7fEUgaa~URSVwaCqQKFml_IAAAAAgAAAAbhmsFjiUUQwCPn2ngI1QcvsSp0AA/image/raw_png 原图是JPG格式,下载png格式的128x128大小的缩略像 文件根地址/image/128x128_png,例如: http://file.domain.com/files/1iYQTU7fEUgaa~URSVwaCqQKFml_IAAAAAgAAAAbhmsFjiUUQwCPn2ngI1QcvsSp0AA/image/128x128_png
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值