Moby/BuildKit 中的 stargz/eStargz 镜像懒加载技术解析

Moby/BuildKit 中的 stargz/eStargz 镜像懒加载技术解析

buildkit concurrent, cache-efficient, and Dockerfile-agnostic builder toolkit 项目地址: https://gitcode.com/gh_mirrors/bu/buildkit

什么是 stargz/eStargz 镜像格式

stargz 和 eStargz 是两种兼容 OCI/Docker 标准的镜像格式，它们最大的特点是支持**懒加载（lazy pulling）**机制。这两种格式最初由 Google CRFS 项目提出，后来由 containerd 社区进行了扩展优化。

与传统镜像不同，stargz/eStargz 镜像允许容器运行时按需从镜像仓库获取文件内容，而不是在启动容器前下载完整的镜像层。这种机制特别适合大型镜像场景，可以显著减少容器启动时间。

BuildKit 中的懒加载支持

BuildKit 作为下一代构建引擎，原生支持 stargz/eStargz 镜像的懒加载功能。当配置正确时，BuildKit 可以在构建过程中：

1. 延迟拉取基础镜像，直到真正需要时
2. 对于 stargz/eStargz 格式的镜像，采用按需加载机制
3. 仅在实际需要时才从仓库获取特定文件或数据块

配置懒加载的两种方式

1. 使用内置支持（推荐）

这是最简单的配置方式，只需在启动 buildkitd 时指定 snapshotter 类型：

buildkitd --oci-worker-snapshotter=stargz

特点：

• 无需额外组件
• 直接集成在 OCI worker 中
• 推荐使用 BuildKit v0.11 及以上版本

Rootless 模式配置：

rootlesskit buildkitd --oci-worker-snapshotter=stargz

2. 使用代理 snapshotter

这种方式适合使用 containerd worker 的场景，需要额外安装 stargz-snapshotter 组件。

配置步骤：

1. 修改 containerd 配置文件：

[proxy_plugins]
  [proxy_plugins.stargz]
    type = "snapshot"
    address = "/run/containerd-stargz-grpc/containerd-stargz-grpc.sock"

2. 启动相关服务：

containerd-stargz-grpc
containerd
buildkitd --containerd-worker-snapshotter=stargz --oci-worker=false --containerd-worker=true

实际应用示例

假设我们有一个简单的 Go 程序需要构建：

package main
import "fmt"
func main() {
    fmt.Println("Hello, world!")
}

对应的 Dockerfile 可以使用 eStargz 格式的基础镜像：

FROM ghcr.io/stargz-containers/golang:1.15.3-buster-esgz AS dev
COPY ./hello.go /hello.go
RUN go build -o /hello /hello.go
FROM scratch
COPY --from=dev /hello /

构建命令：

buildctl build --frontend dockerfile.v0 \
               --local context=/tmp/hello \
               --local dockerfile=/tmp/hello \
               --output type=local,dest=./

在这个构建过程中，基础镜像不会被完整下载，而是按需加载所需的文件内容。

创建 stargz/eStargz 镜像

BuildKit 本身也支持创建 eStargz 格式的镜像：

buildctl build ... \
  --output type=image,name=docker.io/username/image,push=true,compression=estargz,oci-mediatypes=true

注意事项：

• 仅 OCI worker 支持此功能
• 对于已存在于缓存中的层，需要添加 force-compression=true 选项
• BuildKit 目前不支持 eStargz 的预取优化功能

技术优势与适用场景

stargz/eStargz 懒加载技术特别适合以下场景：

1. 大型基础镜像的构建
2. CI/CD 流水线中频繁构建的场景
3. 网络带宽有限的开发环境
4. 需要快速迭代的微服务架构

通过减少不必要的数据传输，这种技术可以显著提高构建效率，特别是在需要频繁重建或使用大型基础镜像的情况下。

总结

Moby/BuildKit 对 stargz/eStargz 镜像的支持为容器构建过程带来了显著的性能优化。通过合理的配置，开发者可以充分利用懒加载技术，减少构建时间，提高开发效率。无论是使用内置支持还是代理 snapshotter，BuildKit 都提供了灵活的选项来适应不同的使用场景。

buildkit concurrent, cache-efficient, and Dockerfile-agnostic builder toolkit 项目地址: https://gitcode.com/gh_mirrors/bu/buildkit