27、自定义 Docker 镜像仓库的搭建与优化

自定义 Docker 镜像仓库的搭建与优化

1. 运行自定义镜像仓库

在搭建支持 v1 和 v2 版本 API 请求的代理之前，需要创建一个新的 Docker 镜像。具体步骤如下：
1. 创建 Dockerfile ：创建一个名为 dual-client-proxy.df 的 Dockerfile，并添加以下指令：

FROM nginx:latest
LABEL source=dockerinaction
LABEL category=infrastructure
COPY ./dual-client-proxy.conf /etc/nginx/conf.d/default.conf

2. 构建新镜像 ：使用以下命令构建新镜像：

docker build -t dual_client_proxy -f dual-client-proxy.df .

3. 启动 v1 版本的镜像仓库 ：在启动代理之前，需要先运行一个 v1 版本的镜像仓库。使用以下命令拉取并启动 0.9.1 版本的镜像仓库：

docker run -d --name registry_v1 registry:0.9.1

4. 创建并测试代理 ：在两个版本的镜像仓库都运行后，可以创建支持双 API 的代理，并测试 v1 和 v2 API：

docker run -d --name dual_client_proxy \
    -p 80:80 \
    --link personal_registry:registry2 \
    --link registry_v1:registry1 \
    dual_client_proxy

docker run --rm -u 1000:1000 \
    --net host \ 
    dockerinaction/curl -s http://localhost:80/v1/_ping

docker run --rm -u 1000:1000 \
    --net host \
    dockerinaction/curl -Is http://localhost:80/v2/

2. 生产环境配置

在将镜像仓库部署到生产环境时，需要注意以下几个方面的配置差异：
- 密钥管理 ：像私钥这样的敏感信息绝不能包含在镜像中。可以通过绑定挂载临时文件系统或 RAM 磁盘设备上的卷，并设置有限的文件权限来注入密钥文件。也可以使用环境变量注入配置文件中的密钥。例如，使用 REGISTRY_HTTP_SECRET 环境变量覆盖配置文件中的客户端状态密钥：

docker run -d -e REGISTRY_HTTP_SECRET=<MY_SECRET> registry:2

• 日志调整 ：在生产环境中，过于敏感的日志配置可能会使磁盘或日志处理基础设施不堪重负。可以通过设置 REGISTRY_LOG_LEVEL 环境变量来降低日志级别：

docker run -d -e REGISTRY_LOG_LEVEL=error registry:2

• 禁用调试端点 ：可以通过环境变量配置覆盖来禁用调试端点。将 REGISTRY_HTTP_DEBUG 设置为空字符串，确保不启动调试端点：

docker run -d -e REGISTRY_HTTP_DEBUG='' registry:2

• 可靠存储 ：在生产环境中，建议将存储从本地文件系统迁移到可靠的存储后端。本地文件系统存储的主要问题是专业化，会降低镜像仓库的耐久性。除了在可接受数据易失性或涉及可重现镜像的用例中，都需要使用可靠的存储后端。

3. 持久化 blob 存储

Blob 是二进制大对象的缩写，镜像仓库处理镜像层（blob）和元数据。为了采用持久化 blob 存储，需要修改镜像仓库的配置文件并构建新镜像。目前支持的存储后端有：
| 存储后端 | 描述 |
| ---- | ---- |
| filesystem | 默认配置，使用本地文件系统存储，通过 rootdirectory 指定存储目录 |
| azure | 使用 Microsoft Azure 的存储服务 |
| s3 | 使用 Amazon 的 Simple Storage Service（S3） |
| rados | 使用 Ceph 提供的 RADOS 存储 |

3.1 使用 Microsoft Azure 进行远程存储

如果有 Azure 账户，可以使用其存储服务进行镜像仓库的 blob 存储。具体步骤如下：
1. 创建配置文件 ：创建一个名为 azure-config.yml 的配置文件，并添加以下配置：

# Filename: azure-config.yml
version: 0.1
log:
    level: debug
    fields:
        service: registry
        environment: development
storage: 
    azure: 
        accountname: <your account name>
        accountkey: <your base64 encoded account key>
        container: <your container>
        realm: core.windows.net
    cache:
        layerinfo: inmemory
    maintenance:
        uploadpurging:
            enabled: false
http:
    addr: :5000
    secret: asecretforlocaldevelopment
    debug:
        addr: localhost:5001

2. 创建 Dockerfile ：创建一个名为 azure-config.df 的 Dockerfile，并添加以下指令：

# Filename: azure-config.df
FROM registry:2
LABEL source=dockerinaction
LABEL category=infrastructure
CMD ["/azure-config.yml"]
COPY ["./azure-config.yml","/azure-config.yml"]

3. 构建镜像 ：使用以下命令构建镜像：

docker build -t dockerinaction/azure-registry -f azure-config.df .

3.2 使用 Amazon S3 进行远程存储

AWS 的 Simple Storage Service（S3）除了提供 blob 存储外，还提供了许多其他功能。使用 S3 作为远程 blob 存储的步骤如下：
1. 创建配置文件 ：创建一个名为 s3-config.yml 的配置文件，并添加以下配置：

# Filename: s3-config.yml
version: 0.1
log:
    level: debug
    fields:
        service: registry
        environment: development
storage:
    cache:
        layerinfo: inmemory
    s3: 
        accesskey: <your awsaccesskey>
        secretkey: <your awssecretkey>
        region: <your bucket region>
        bucket: <your bucketname>
        encrypt: true
        secure: true
        v4auth: true
        chunksize: 5242880
        rootdirectory: /s3/object/name/prefix
    maintenance:
        uploadpurging:
            enabled: false
http:
    addr: :5000
    secret: asecretforlocaldevelopment
    debug:
        addr: localhost:5001

2. 创建 Dockerfile ：创建一个名为 s3-config.df 的 Dockerfile，并添加以下指令：

# Filename: s3-config.df
FROM registry:2
LABEL source=dockerinaction
LABEL category=infrastructure
CMD ["/s3-config.yml"]
COPY ["./s3-config.yml","/s3-config.yml"]

3. 构建镜像 ：使用以下命令构建镜像：

docker build -t dockerinaction/s3-registry -f s3-config.df .

3.3 使用 RADOS（Ceph）进行内部远程存储

如果有预算、时间和一定的专业知识，可以部署自己的 Ceph 集群来实现类似 Azure Storage 或 AWS S3 的分布式 blob 存储服务。使用 RADOS 存储的配置如下：

version: 0.1
log:
    level: debug
    fields:
        service: registry
        environment: development
storage:
    cache:
        layerinfo: inmemory
    rados:
        poolname: radospool
        username: radosuser
        chunksize: 4194304
    maintenance:
        uploadpurging:
            enabled: false
http:
    addr: :5000
    secret: asecretforlocaldevelopment
    debug:
        addr: localhost:5001

4. 扩展访问和降低延迟

在使用反向代理和持久化存储后端后，可以水平扩展镜像仓库，但会引入额外的延迟开销。为了实现低延迟响应时间，可以采取以下措施：

4.1 集成元数据缓存

当需要低延迟数据检索时，可以使用缓存。 Distribution 项目可以使用内存映射或 Redis 缓存仓库元数据。使用 Redis 作为缓存的配置步骤如下：
1. 创建配置文件 ：创建一个名为 redis-config.yml 的配置文件，并添加以下配置：

# Filename: redis-config.yml
version: 0.1
log:
    level: debug
    fields:
        service: registry
        environment: development
http:
    addr: :5000
    secret: asecretforlocaldevelopment
    debug:
        addr: localhost:5001
storage:
    cache: 
        blobdescriptor: redis
    s3:
        accesskey: <your awsaccesskey>
        secretkey: <your awssecretkey>
        region: <your bucket region>
        bucket: <your bucketname>
        encrypt: true
        secure: true
        v4auth: true
        chunksize: 5242880
        rootdirectory: /s3/object/name/prefix
    maintenance:
        uploadpurging:
            enabled: false
redis: 
    addr: redis-host:6379
    password: asecret
    dialtimeout: 10ms
    readtimeout: 10ms
    writetimeout: 10ms
    pool:
        maxidle: 16
        maxactive: 64
        idletimeout: 300s

2. 启动 Redis 容器 ：使用以下命令启动 Redis 容器：

docker run -d --name redis redis

3. 构建镜像 ：使用以下命令构建镜像：

docker build -t dockerinaction/redis-registry -f redis-config.df .

4. 启动容器 ：使用以下命令启动容器并链接 Redis 容器：

docker run -d --name redis-registry \
    --link redis:redis-host -p 5001:5000 \
    dockerinaction/redis-registry

4.2 使用存储中间件简化 blob 传输

Distribution 项目中的中间件可以像建议或装饰器一样作用于镜像仓库、存储库或存储驱动。目前， Distribution 附带了一个存储中间件，它将镜像仓库和 S3 存储后端与 AWS CloudFront 集成。启用 CloudFront 中间件的配置如下：

# Filename: scalable-config.conf
version: 0.1
log:
    level: debug
    fields:
        service: registry
        environment: development
http:
    addr: :5000
    secret: asecretforlocaldevelopment
    debug:
        addr: localhost:5001
storage:
    cache:
        blobdescriptor: redis
    s3:
        accesskey: <your awsaccesskey>
        secretkey: <your awssecretkey>
        region: <your bucket region>
        bucket: <your bucketname>

通过以上步骤，可以构建一个高性能、可扩展的 Docker 镜像仓库，满足不同场景下的需求。

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px
    A(创建 dual-client-proxy.df):::process --> B(构建 dual_client_proxy 镜像):::process
    B --> C(启动 v1 版本镜像仓库):::process
    C --> D(创建并测试双 API 代理):::process
    D --> E(生产环境配置):::process
    E --> F(选择持久化 blob 存储后端):::process
    F --> G(使用 Azure 存储):::process
    F --> H(使用 S3 存储):::process
    F --> I(使用 RADOS 存储):::process
    G --> J(构建 Azure 镜像):::process
    H --> K(构建 S3 镜像):::process
    I --> L(配置 RADOS 存储):::process
    J --> M(扩展访问和降低延迟):::process
    K --> M
    L --> M
    M --> N(集成元数据缓存):::process
    M --> O(使用存储中间件):::process

自定义 Docker 镜像仓库的搭建与优化

5. 存储中间件工作流程详解

启用 AWS CloudFront 存储中间件后，数据的传输流程得到了优化，避免了直接从 S3 到镜像仓库再到客户端的冗长路径。以下是详细的工作流程：
1. 客户端请求 blob ：客户端向镜像仓库发起获取 blob 的请求。
2. 镜像仓库请求认证 URL ：镜像仓库接收到请求后，向 AWS CloudFront 请求一个经过认证的 URL。
3. AWS CloudFront 生成签名 URL ：AWS CloudFront 根据请求生成一个带有签名的 URL。
4. 镜像仓库重定向客户端 ：镜像仓库将生成的签名 URL 发送给客户端，并重定向客户端到该 URL。
5. 客户端请求 blob ：客户端使用接收到的签名 URL 直接向 AWS CloudFront 请求 blob。
6. 数据直接流式传输 ：AWS CloudFront 将 blob 数据直接流式传输给客户端。

这个流程可以用以下 mermaid 流程图表示：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px
    A(客户端请求 blob):::process --> B(镜像仓库请求认证 URL):::process
    B --> C(AWS CloudFront 生成签名 URL):::process
    C --> D(镜像仓库重定向客户端):::process
    D --> E(客户端请求 blob):::process
    E --> F(数据直接流式传输):::process

6. 不同存储后端的优缺点对比

不同的存储后端适用于不同的场景，了解它们的优缺点有助于做出更合适的选择。以下是对几种存储后端的对比：
| 存储后端 | 优点 | 缺点 |
| ---- | ---- | ---- |
| filesystem | 配置简单，无需额外的服务依赖 | 数据存储在本地，耐久性差，难以扩展 |
| azure | 提供可靠的云存储服务，可根据使用量付费 | 需要有 Azure 账户，可能存在网络延迟 |
| s3 | 功能丰富，支持数据加密、版本控制等 | 费用可能较高，依赖 AWS 服务 |
| rados | 可自行部署，对数据有更高的控制权 | 需要一定的专业知识和资源来搭建和维护 |

7. 镜像仓库性能优化建议

为了确保镜像仓库的高性能和可靠性，可以采取以下优化建议：
- 合理配置缓存 ：根据镜像仓库的规模和使用场景，选择合适的缓存策略。对于小型镜像仓库，可以使用内存映射缓存；对于大型镜像仓库，建议使用 Redis 缓存。
- 选择合适的存储后端 ：根据数据的重要性、耐久性要求和预算，选择合适的存储后端。对于对数据安全性要求较高的场景，可以选择支持数据加密的存储后端。
- 监控和调优日志 ：定期监控日志，根据日志信息调整日志级别，避免日志过多影响系统性能。
- 定期维护和清理 ：定期清理不再使用的镜像和数据，释放存储空间。

8. 总结

通过本文的介绍，我们了解了如何搭建和优化自定义 Docker 镜像仓库。从运行自定义镜像仓库、配置生产环境、采用持久化 blob 存储，到扩展访问和降低延迟，每个步骤都对镜像仓库的性能和可靠性有着重要影响。

在实际应用中，需要根据具体的需求和场景，选择合适的存储后端和优化策略。例如，如果对数据的耐久性要求较高，可以选择使用 Azure 或 S3 存储；如果需要对数据有更高的控制权，可以考虑部署自己的 Ceph 集群。

同时，合理配置缓存和使用存储中间件可以有效降低延迟，提高镜像仓库的响应速度。通过不断地监控和调优，确保镜像仓库能够满足业务的需求。

希望本文的内容能够帮助你构建一个高性能、可扩展的 Docker 镜像仓库。

以下是一个简单的列表，总结了搭建和优化镜像仓库的关键步骤：
1. 运行自定义镜像仓库
2. 配置生产环境
3. 选择持久化 blob 存储后端
4. 扩展访问和降低延迟
5. 监控和调优
6. 定期维护和清理