Facebook Buck2 项目中的动态依赖机制解析-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00484/article/details/148552318

Facebook Buck2 项目中的动态依赖机制解析

buck2 Build system, successor to Buck 项目地址: https://gitcode.com/gh_mirrors/bu/buck2

什么是动态依赖

在构建系统中，动态依赖是指规则在分析阶段无法获取，需要在实际执行过程中才能确定的依赖关系。Facebook Buck2 构建系统通过 dynamic_output 机制实现了这一功能，相比完全通用的动态依赖方案，Buck2 的实现更加受限但更加安全可靠。

为什么需要动态依赖

传统构建系统通常要求所有依赖关系在分析阶段就必须明确，这在某些场景下会带来限制。以下是几个典型需要动态依赖的场景：

分布式 ThinLTO：索引文件会决定最终的依赖关系
OCaml 构建：源文件间的依赖关系需要通过运行 ocamldeps 才能获取
Erlang 头文件：只有通过读取源文件才能确定实际使用了哪些头文件
Erlang BEAM 文件：部分 BEAM 文件需要按特定顺序编译，而大多数可以并行处理

动态依赖的实现机制

Buck2 提供了 ctx.actions.dynamic_output 函数来实现动态依赖：

ctx.actions.dynamic_output(dynamic, inputs, outputs, lambda ctx: …)

参数详解

dynamic：需要在函数执行前构建的工件(artifacts)列表
inputs：包含所有可能被函数体引用的输入工件（不包括dynamic和outputs中的工件）
outputs：通过declare_artifact创建的未绑定工件列表，将由函数绑定
函数参数：接收三个参数
- ctx：与初始规则分析时相同的上下文
- outputs：提供对dynamic_output的outputs参数的访问
- artifacts：提供对dynamic参数的访问，支持多种读取方法

关键特性

函数必须通过ctx.actions调用来绑定所有输出
通常使用def定义函数而非lambda，因为Starlark的lambda不支持语句
动态工件提供read_string、read_lines和read_json方法来读取内容
复杂逻辑建议通过Python脚本转换为JSON格式处理

实际应用示例

以下是一个Erlang BEAM文件依赖处理的示例：

def erlang(ctx):
  beams = {}
  for x in ctx.attr.srcs:
    # 声明输出文件
    dep_file = ctx.actions.declare_output(x + ".out")
    ctx.actions.run("erl", "-dump-output", x, dep_file.as_output())
    
    beam_file = ctx.actions.declare_output(x + ".beam")
    beams[x] = beam_file
    
    # 动态处理函数
    def f(ctx, artifacts, outputs, x=x, dep_file=dep_file):
      # 读取依赖文件内容
      deps = artifacts[dep_file].read_lines()
      
      # 执行编译
      ctx.actions.run(
        "erl", "-comp", x,
        [beams[d] for d in deps],
        outputs[beams[x]].as_output()
      )
    
    # 注册动态输出
    ctx.actions.dynamic_output([dep_file], [x] + deps, [beam_file], f)
  
  return [ErlangInfo(objects = beams.values())]