通过科学上网将公有云镜像存入私有云仓库方案

通过科学上网将公有云镜像存入私有云仓库方案

简介

本方案可以从国内无法正常访问或网络环境差的镜像仓库中搬运镜像至私有仓库中。可以手动单独上传某个镜像 亦可从资源清单文件批量中搬运镜像

安装工具

参考博客
官方文档

# 默认认定本地使用fedora 其余发行版可自行选择
sudo dnf -y install skopeo

启动代理

自行研究，无可奉告

编写工程脚本

#新建文件夹
mkdir ~/skopeo
#编写单独镜像的搬运脚本
cat <<'EOF' > ~/skopeo/copy-image.sh
#!/bin/bash
export HTTP_PROXY="http://<proxy-host>:<proxy-port>"
export HTTPS_PROXY="http://<proxy-host>:<proxy-port>"
export NO_PROXY="localhost,127.0.0.0/8,10.0.0.0/8,172.16.0.0/12,192.168.0.0/16,<special-domain>..."
CONTAINER_REGISTRY_SOURCE_URL=$1
REGISTRY_HOST=$(echo $CONTAINER_REGISTRY_SOURCE_URL | awk -F'/' '{print $1}')
echo $REGISTRY_HOST
REGISTRY_PATH=$(echo $CONTAINER_REGISTRY_SOURCE_URL |  sed 's|^[^/]*||')
echo $REGISTRY_PATH
if [ "$REGISTRY_HOST" == "registry.k8s.io" ] || [ "$REGISTRY_HOST" == "k8s.gcr.io" ]; then
    PRIVATE_HOST="<k8s私有仓库>"
elif [ "$REGISTRY_HOST" == "gcr.io" ]; then
    PRIVATE_HOST="<gcr私有仓库>"
elif [ "$REGISTRY_HOST" == "docker.io" ]; then
    PRIVATE_HOST="<docker.io私有仓库>"
elif [ "$REGISTRY_HOST" == "quay.io" ]; then
    PRIVATE_HOST="<quay.io私有仓库>"
else
    echo "源地址无效"
    exit 1
fi
PRIVATE_CONTAINER_REGISTRY_SOURCE_URL=$PRIVATE_HOST$(echo $REGISTRY_PATH | sed 's|@sha256:.*$||')
echo "源地址:$CONTAINER_REGISTRY_SOURCE_URL"
echo "目标地址:$PRIVATE_CONTAINER_REGISTRY_SOURCE_URL"
echo $PRIVATE_CONTAINER_REGISTRY_SOURCE_URL
echo $CONTAINER_REGISTRY_SOURCE_URL
skopeo copy --all docker://$CONTAINER_REGISTRY_SOURCE_URL docker://$PRIVATE_CONTAINER_REGISTRY_SOURCE_URL
EOF

#编写批量从yaml中搬运镜像的脚本 存储yaml的路径"YAML_PATH"需要手动配置一下。
tee ~/skopeo/copy-images-from-yaml.sh <<'EOF'
#!/bin/bash

# 初始化总集合
TOTAL_IMAGES=()
#手动配置或导入，按情况处理
YAML_PATH=""
# 处理多个文件夹及其所有子文件夹以及再深一层的文件夹下所有以 .yaml 结尾的文件
while IFS= read -r -d $'\0' FILE; do
    # 使用 sed 提取特定行内容并去重
    SPECIFIC_LINES=$(sed -n 's/^.*image:[[:space:]]*//p' "$FILE" | sort -u)
    # 将每个文件的去重后的内容插入到总集合
    IFS=$'\n' read -r -d '' -a SPECIFIC_LINES_ARRAY <<< "$SPECIFIC_LINES"
    TOTAL_IMAGES+=("${SPECIFIC_LINES_ARRAY[@]}")
done < <(find $YAML_PATH/* -type f -name "*.yaml" -o -name "*.yml" -print0)

# 对总集合进行去重
FINAL_IMAGES=($(echo "${TOTAL_IMAGES[@]}" | tr ' ' '\n' | sort -u))

# 使用 for 循环遍历输出去重后的总结果
for IMAGE in "${FINAL_IMAGES[@]}"; do
    # 执行你的操作，比如输出每行内容
    echo "所需上传镜像为：$IMAGE"
    ./copy-image.sh "$IMAGE"
done
EOF

使用方式

#单独搬运某个镜像
~/skopeo/copy-image.sh <image-url>
#从yaml文件中搬运
~/skopeo/copy-images-from-yaml.sh