IREE项目中使用CMake与ccache加速编译的实践指南

IREE项目中使用CMake与ccache加速编译的实践指南

iree A retargetable MLIR-based machine learning compiler and runtime toolkit. 项目地址: https://gitcode.com/gh_mirrors/ire/iree

什么是ccache及其工作原理

ccache是一个编译缓存工具，它通过缓存编译结果来显著提升重复编译的速度。其核心原理是：当检测到相同的编译任务时，直接返回缓存结果而非重新编译。

工作原理分解：

1. 接收编译命令和参数
2. 根据输入内容生成唯一哈希键
3. 检查缓存中是否存在对应结果
4. 命中则直接返回缓存，未命中则执行实际编译并缓存结果

为什么在IREE项目中推荐使用ccache

IREE作为一个编译器基础设施项目，具有以下特点使其特别适合使用ccache：

1. 代码库庞大，完整编译耗时较长
2. 开发过程中频繁进行增量构建
3. 依赖LLVM等大型第三方项目
4. 需要经常清理重建构建目录

ccache能有效缓解这些问题，特别是在以下场景：

• 切换分支后的首次构建
• 清理构建目录后的重建
• 开发过程中的频繁小改动编译

安装与基础配置

各平台安装方法

Linux (Debian/Ubuntu):

sudo apt install ccache

macOS (Homebrew):

brew install ccache

Windows (推荐使用MSYS2):

pacman -S ccache

关键配置项

设置缓存大小（建议值）：

ccache --max-size=20G

查看当前配置：

ccache --show-config

在CMake中集成ccache

标准集成方法

对于使用Ninja或Makefile生成器的CMake项目，推荐方式：

cmake -DCMAKE_C_COMPILER_LAUNCHER=ccache \
      -DCMAKE_CXX_COMPILER_LAUNCHER=ccache \
      [其他CMake参数] ..

替代方案

对于不支持COMPILER_LAUNCHER的生成器，可以创建包装脚本：

1. 创建/usr/local/bin/ccache-clang:

#!/bin/sh
exec ccache /usr/bin/clang "$@"

2. 设置执行权限：

chmod +x /usr/local/bin/ccache-clang

3. 在CMake中指定编译器路径：

cmake -DCMAKE_C_COMPILER=ccache-clang [其他参数] ..

监控与调优

实时监控缓存命中率

watch -n 1 ccache -s

输出示例：

缓存命中率：85.2%
直接命中：1245
预处理后命中：328
缓存未命中：287

性能优化建议

1. 对于IREE项目，建议缓存大小至少设置为20GB
2. 将ccache目录放在高速存储设备上
3. 定期清理旧缓存：ccache -c
4. 对于SSD用户，可考虑减小max_files参数减少文件系统压力

高级技巧

跨构建目录共享缓存

ccache默认在多个构建目录间共享缓存，这是其核心优势之一。可以通过以下命令查看缓存位置：

ccache --get-config=cache_dir

调试缓存未命中

当发现缓存命中率低时，可以检查：

CCACHE_DEBUG=1 ccache [编译命令]

这会生成详细的日志文件，帮助分析未命中原因。

注意事项

1. ccache不缓存链接过程，只加速编译阶段
2. 某些极端情况可能导致缓存失效（如编译器自身更新）
3. 在CI环境中使用时，注意缓存持久化策略
4. 对于头文件频繁改动的场景，可能需要调整sloppiness参数

通过合理配置ccache，IREE项目的开发迭代效率可以得到显著提升，特别是在频繁进行代码修改和构建的场景下。建议开发者根据自身工作负载特点调整ccache参数，找到最佳平衡点。

iree A retargetable MLIR-based machine learning compiler and runtime toolkit. 项目地址: https://gitcode.com/gh_mirrors/ire/iree