开发函数计算的正确姿势——使用 brotli 压缩大文件

大文件问题

函数计算对上传的 zip 代码包尺寸限制为 50M。某些场景中代码包中会超过这一限制，比如二进制 serverless-chrome 经过一番裁剪以后 ZIP 压缩包的体积为 43.4M，类似的还有 liboffice ，此外常见的还有机器学习训练的模型文件。

目前解决大文件问题有三种方法

1. 采用更高压缩比的算法，比如本文介绍的 brotli 算法
2. 采用 OSS 运行时下载
3. 采用 NAS 文件共享

简单的比较一下这三种方法的优劣

方法	优点	缺点
高密度压缩	发布简单，启动最快	上传代码包较慢；要写解压代码；大小受限制不超过 50 M
OSS	下载解压后文件不超过 512 M	需要预先上传至 OSS；要写下载和解压代码，大概 50M/s 的下载速度
NAS	文件大小没有限制，无需压缩	需要预先上传至 NAS；VPC 环境有冷启动时延(~5s)

正常情况下如果代码包能控制在 50M 以下启动较快。而且工程上也比较简单，数据和代码放在一起，不需要额外的写脚本去同步更新 OSS 或者 NAS。

压缩算法

Brotli 是 Google 工程师开发的开源压缩算法，目前已经被新版的主流浏览器支持，作为 HTTP 传输的压缩算法。下面是在网上找到的关于 Brotli 和其他常见压缩算法对比基准测试。