DevOps工程技术价值流：制品库Nexus与Harbor的实战探索

原创

已于 2024-12-23 11:46:50 修改 · 1.8k 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#devops #运维

于 2024-12-23 11:40:50 首次发布

制品库作为DevOps价值流中的一个关键环节，其重要性日益凸显。制品库，作为存储和管理软件开发过程中产生的各种制品（如代码包、镜像、配置文件等）的仓库，是连接开发、测试、部署等多个环节的桥梁。它不仅能够实现制品的统一存储和高效分发，还能够通过版本控制和依赖管理等功能，确保软件构建的稳定性和可追溯性。因此，深入探索和实践制品库的使用，对于提升DevOps价值流的整体效率和质量具有至关重要的作用。本文将围绕制品库在DevOps价值流中的实战应用，深入探讨其设计原则、关键功能、最佳实践以及未来发展趋势。通过具体的案例分析和实战经验分享，帮助读者更好地理解制品库的核心价值，掌握其在软件开发过程中的应用技巧，从而推动DevOps价值流的持续优化和创新。

一、制品与制品库概述

1 制品定义

制品是软件开发过程中的重要产出物，是源代码经过编译、打包后生成的二进制文件，这些文件可以在服务器上运行或作为编译依赖。制品种类繁多，包括但不限于Java的JAR、WAR、EAR文件，C/C++的二进制可执行文件，Python的.py文件，以及NuGet、Ruby gems、NPM等软件包格式。在容器化环境下，Docker镜像和Helm charts也是关键的制品类型。

2 制品库分类

根据使用场景和存储内容的不同，制品库可细分为：

通用制品仓库：存储ZIP、tar.gz等压缩文件以及.exe、.sh等可执行文件，适用于各种软件开发和部署场景。
镜像仓库：专门用于存储Docker镜像和Helm charts等容器化制品，支持Kubernetes等容器编排平台的部署需求。
依赖仓库：管理Maven、NPM、PyPI等开发语言的依赖包，通过私服代理和本地缓存加速依赖包的下载速度，确保开发环境的稳定性和一致性。

二、制品库在DevOps实践中的核心价值

1 DevOps与DevSecOps中的安全风险

在DevOps和DevSecOps实践中，制品库扮演着举足轻重的角色。然而，不当的制品库管理会带来一系列安全风险：

第三方依赖包管理混乱：缺乏安全漏洞扫描和安全准入设置，可能导致漏洞被引入生产环境，造成生产事故。
制品管理混乱：缺乏统一的制品管理平台，导致冗余制品无法及时清理，造成资源管理混乱。
溯源管理缺失：缺乏对制品全生命周期的过程管控，导致无法历史溯源，增加了问题排查的难度。
服务中断风险：制品库缺乏高可用设计时，存在因故障引起服务中断的风险，影响研发和运维工作。
运维成本高昂：缺乏集群部署和制品同步分发功能，导致重复建设问题严重，维护成本高。

2 制品库在DevOps实践中的必要性

在典型的软件开发流程中，制品库在多个环节中都发挥着关键作用：

开发构建阶段：提供依赖组件的集中管理和安全扫描功能，确保开发过程中使用的组件安全无虞。同时，通过私服代理功能加速依赖包的下载速度，提高开发效率。
构建管理阶段：对构建的制品进行集中存储和版本管理，确保开发团队能够随时获取到最新或指定版本的制品。通过访问控制和权限管理功能，确保只有授权用户才能访问和修改制品。
测试部署阶段：提供可靠的传输介质和版本管理功能，确保测试环境和生产环境中使用的制品一致且可靠。通过高可用设计和异地节点同步分发功能，确保制品库的稳定性和可用性，避免因制品库故障导致的服务中断问题。

3 制品库优化策略

为了充分发挥制品库在DevOps实践中的价值，企业需要进行深度优化：

集成CI/CD流程：将制品库与持续集成/持续交付流程紧密结合，实现自动化构建、测试和部署，提高开发效率和交付速度。
精细化权限管理：根据团队成员的角色和职责设置不同的权限级别，确保最小权限原则的实施。同时建立清晰的团队协作机制，促进团队成员之间的沟通和协作。
采用高效存储和传输技术：利用分布式存储、压缩算法等技术手段提高制品库的存储效率和传输速度，降低运维成本。
加强监控与审计：建立制品库的监控与审计机制，定期检查运行状态和数据完整性。及时发现和处理异常情况，同时记录和审计操作日志，确保制品的安全性和可追溯性。

三 Nexus与Harbor的联合使用

1 为什么选择Nexus与Harbor联合使用

在容器化环境下，公司内部使用的镜像不可能直接放在Docker Hub上，因此需要一个私有的Docker镜像仓库。目前Docker registry的实现方案很多，包括官方的registry、Harbor以及Nexus等。然而，它们各自存在优缺点，因此选择将Nexus与Harbor联合使用以达到最佳效果。

Harbor的优势：Harbor提供了自建文件夹进行分组的功能，非常适合作为私有的镜像仓库。同时，Harbor还支持用户权限管理、审计日志等功能，能够确保镜像的安全性和可追溯性。
Nexus的补充：虽然Harbor在镜像管理方面表现出色，但它无法直接帮助用户下载镜像。而Nexus则很好地弥补了这一缺陷。通过Nexus，用户可以方便地拉取公网镜像，并将其缓存到本地，以供后续使用。此外，Nexus还支持多种制品类型的存储和管理，能够满足企业多样化的需求。

2 联合使用场景

镜像拉取与缓存：在Kubernetes环境下，企业可能需要从公网拉取镜像。此时，可以通过Nexus代理Harbor或其他公网镜像仓库，实现镜像的拉取与缓存。这样，既能够确保镜像的安全性，又能够提高拉取速度。
制品管理与分发：除了镜像外，企业还需要管理其他类型的制品，如源代码、编译后的二进制文件等。此时，可以利用Nexus的通用制品仓库功能，对这些制品进行集中存储和管理。同时，通过Nexus的访问控制和权限管理功能，可以确保只有授权用户才能访问和修改制品。

四 Nexus应用实践

Nexus Repository 3是Nexus公司的仓库管理平台，它是使用最为广泛的开源仓库管理平台，可以管理整个软件供应链中的组件、二进制文件和构建制品。Nexus Repository 3分为社区版和企业版，社区版可以免费且全面地管理二进制文件和制品，企业版具有更多的安全特性。Nexus Repository 3支持的二进制文件仓库类型如下图

1 Nexus Repository 3安装

1.1. 获取镜像

首先，从Docker Hub上拉取指定版本的Nexus Repository 3镜像。这里以3.75.1版本为例：

docker pull sonatype/nexus3:3.75.1

1.2. 创建持久化文件目录并设置权限

为Nexus Repository 3创建一个用于存储数据的持久化目录，并设置适当的权限。这里将目录创建在/home/docker/nexus下：

mkdir -p /home/docker/nexus
# 注意：通常不建议使用chmod 777，因为这会给所有用户完全访问权限。
# 更安全的做法是设置合适的用户和组权限。但在这里，为了简化步骤，我们暂时使用777。
# 在生产环境中，请务必考虑安全性。
chmod 777 -R /home/docker/nexus/

创建一个专门的用户（如nexus_user）来运行Nexus容器，并为该用户设置适当的目录权限。

1.3. 编辑 docker-compose 文件

创建一个docker-compose.yml文件，并配置Nexus服务：

version: "3.1"
services:
  nexus:
    image: sonatype/nexus3:3.75.1  # 指定镜像版本
    container_name: nexus
    environment:
      - "INSTALL4J_ADD_VM_PARAMS=-Xms1g -Xmx1g -XX:MaxDirectMemorySize=1g"  # 设置JVM参数
    ports:
      - "9707:8081"  # 将容器的8081端口映射到宿主机的9707端口
    volumes:
      - /home/docker/nexus:/nexus-data  # 将宿主机的/home/docker/nexus目录挂载到容器的/nexus-data目录
    restart: always  # 确保容器在崩溃后自动重启

注意：