让工程师拥有一台“超级”计算机——字节跳动客户端编译加速方案

最新推荐文章于 2025-03-29 15:10:21 发布

字节跳动终端技术

最新推荐文章于 2025-03-29 15:10:21 发布

阅读量1.9k

点赞数

分类专栏： ios

本文链接：https://blog.youkuaiyun.com/YZcoder/article/details/122982144

版权

字节跳动 ios devops 编译器

我们有一个梦想，让每一名研发工程师拥有一台“超级”计算机。

作者：字节跳动终端技术——孙雄

大型工程的效率瓶颈

近年来，基于Devops流水线的研发流程，逐渐成为软件研发的行业标准。流水线的运行效率，决定了团队的研发效能。对大型项目来说，编译构建往往是流水线中耗时占比的大头。有些工程的编译时长超过30分钟，甚至达到几个小时。这样的性能，是非常糟糕的。

字节iOS大型项目的构建时长，大多控制在5分钟以内。这主要得益于内部的编译加速解决方案，它集分布式编译和分布式缓存为一体，本文将详细介绍它的工作原理。不过在这之前，我们先来分析一下大型项目的编译瓶颈和解决思路。

先说结论，机器性能不足和重复作业，是影响工程编译效率的两个最大因素，对此，可以采取分布式编译+编译缓存的方式，提升整体的性能。

分布式编译

工程的编译，往往可以拆解为可并行的编译子任务。以C系列语言(C, C++, ObjC)为例，项目中往往存在上千甚至上万的源代码文件(以 .c , .cc 或 .m 作为扩展名的文件)，每个编译子任务将源代码文件编译为目标文件(以 .o 作为扩展名的文件)，再整体链接成最终的可执行文件。

这些编译子任务可以并行执行，如下图所示：
在这里插入图片描述
CPU的数量，决定了编译的并行度上限。个人电脑(PC)的CPU核心数通常在4～12之间，专用服务器可以达到24～96，但对于动辄上万文件的大型工程，CPU的数量还是显得不足。这时候，利用分布式编译的技术，可以得到一台“超级计算机”。

编译缓存

大型工程全量编译，需要处理几千甚至几万个编译子任务。但大多数子任务，之前已经编译过，如果我们能通过某种方式，直接获取编译产物，就可以大大节省时间。

建立一个中央仓库，存储编译子任务的产物，这些产物可以通过“任务摘要”来索引。这样每次遇到一个新任务，我们首先向中央仓库查询摘要，如果查询成功，直接下载编译产物，就省去了重复编译的动作。

上面提到的分布式编译和编译缓存，是提升大型项目编译效率的两大法宝，本文主要介绍字节跳动的分布式编译解决方案。

“超级”计算机

借助云计算，我们可以以组装的方式，得到一台“超级”计算机，如下图所示：
在这里插入图片描述
这台“超级”计算机，由一台中心节点和若干台工作节点组成。中心节点负责生成和调度编译子任务，依照它们的执行顺序，将任务发送给空闲的工作节点来执行。这样整个系统的并行处理能力，取决于所有工作节点的CPU之和，性能比单机高出数倍，甚至数十倍。