SJTU “PI 2.0”、“思源一号”超算容器制作教程

原创 已于 2023-04-07 17:48:15 修改 · 563 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ssh #linux #ubuntu

于 2023-04-07 17:41:27 首次发布

1.利用ssh工具登录pilogin节点或者sylogin节点

2.利用ssh工具登录container-x86节点

ssh build@container-x86

3.编辑siyuan1.DockerFile文件，文件内容如下

# siyuan1.DockerFile centos:8 
FROM centos:8 
RUN mkdir -pv /opt/etc/ && \
    touch /opt/etc/bashrc && \
    echo "export https_proxy=http://proxy.pi.sjtu.edu.cn:3004/ " >> /opt/etc/bashrc && \
    echo "export http_proxy=http://proxy.pi.sjtu.edu.cn:3004/ " >> /opt/etc/bashrc && \
    echo "export no_proxy=puppet " >> /opt/etc/bashrc 
# set mirrors
RUN source /opt/etc/bashrc && \
    sed -i -e "s|mirrorlist=|#mirrorlist=|g" /etc/yum.repos.d/CentOS-* && \
    sed -i -e "s|#baseurl=http://mirror.centos.org|baseurl=http://vault.centos.org|g" /etc/yum.repos.d/CentOS-* && \
    yum clean all && yum makecache 
# https://mirrors.tuna.tsinghua.edu.cn/centos  http://vault.centos.org
# RUN yum install -y \
#     curl 
# RUN curl https://mirrors.aliyun.com/repo/Centos-vault-8.5.2111.repo > /etc/yum.repos.d/Centos-vault-8.5.2111.repo && \
#     curl https://mirrors.aliyun.com/repo/epel-archive-8.repo > /etc/yum.repos.d/epel-archive-8.repo && \
#     yum clean all && yum makecache 
RUN source /opt/etc/bashrc && \
    yum update -y && \
    rm -rf /var/cache/yum/* 
RUN source /opt/etc/bashrc && \
    yum install -y \
        tree \
        vim \
        git \
        bzip2 \
        wget && \
    rm -rf /var/cache/yum/* 
RUN echo "basic tools completed !! " 
RUN source /opt/etc/bashrc && \
    yum install -y \
        mesa-libGLU \
        libXrender \
        libXcursor \
        libXft \
        libXinerama \
        libgomp \
        && \
    rm -rf /var/cache/yum/* 
RUN echo "gmsh basic libs completed !! " 
RUN source /opt/etc/bashrc && \
    mkdir -p opt/GMSH/ && \
    cd opt/GMSH/ && \
    wget --no-check-certificate http://www.gmsh.info/bin/Linux/gmsh-4.4.0-Linux64.tgz && \
    tar -xzvf gmsh-4.4.0-Linux64.tgz && \
    rm -rvf gmsh-4.4.0-Linux64.tgz && \
    echo "export PATH='$PATH':/opt/GMSH/gmsh-4.4.0-Linux64/bin " >> /etc/bashrc 
RUN echo "gmsh 4.4.0 completed !! " 
RUN source /opt/etc/bashrc && \
    yum install -y \
    epel-release \
    cmake3 \
    make \
    patch \
    flex \
    bison \
    zlib-devel \
    boost-system \
    boost-thread \
    readline-devel \
    ncurses-devel \
    gcc-c++ \
    gcc \
    openmpi \
    openmpi-devel \
    boost \
    openssl && \
    rm -rf /var/cache/yum/* 
RUN echo "OpenFOAM tools completed !! " 
RUN echo "192.30.255.113 github.com" >> /etc/hosts 
RUN echo "export PATH='$PATH':/usr/lib64/openmpi/bin:/usr/lib64/openmpi/bin/mpicc " >> /etc/bashrc 
RUN source /opt/etc/bashrc && \
    mkdir -p /opt && \
    export BUILD_DIR=/opt/OpenFOAM && \
    mkdir -p $BUILD_DIR && \
    cd $BUILD_DIR && \
    git clone https://gitee.com/xinxinzhou1995/OpenFOAM-4.x.git && \
    git clone https://gitee.com/xinxinzhou1995/ThirdParty-4.x.git 
RUN echo "OpenFOAM 4.x download completed !!" 
RUN source /opt/etc/bashrc && \
    echo "export OF40='source /opt/OpenFOAM/OpenFOAM-4.x/etc/bashrc ' " >> /etc/bashrc && \
    cd /opt/OpenFOAM/OpenFOAM-4.x && \
    ncount=$(grep -n 'export FOAM_INST_DIR=\$HOME/\$WM_PROJECT' etc/bashrc | cut -f1 --delimiter=':') && \
    sed -i "${ncount}d" etc/bashrc && \
    ncount=$((${ncount}-1)) && \
    sed -i "${ncount}a export FOAM_INST_DIR=/opt/\$WM_PROJECT" etc/bashrc && \
    source /etc/bashrc && \
    ${OF40} # && 
    # ./Allwmake -j 
# RUN echo "OpenFOAM 4.x make completed !! " 
RUN source /opt/etc/bashrc && \
    mkdir -p /opt && \
    export BUILD_DIR=/opt/OpenFOAM && \
    mkdir -p $BUILD_DIR && \
    cd $BUILD_DIR && \
    git clone https://gitee.com/Allenxcw/OpenFOAM-5.x.git && \
    git clone https://gitee.com/Allenxcw/ThirdParty-5.x.git 
RUN echo "OpenFOAM 5.x download completed !!" 
RUN source /opt/etc/bashrc && \
    echo "export OF50='source /opt/OpenFOAM/OpenFOAM-5.x/etc/bashrc ' " >> /etc/bashrc && \
    cd /opt/OpenFOAM/OpenFOAM-5.x && \
    ncount=$(grep -n 'export FOAM_INST_DIR=\$HOME/\$WM_PROJECT' etc/bashrc | cut -f1 --delimiter=':') && \
    sed -i "${ncount}d" etc/bashrc && \
    ncount=$((${ncount}-1)) && \
    sed -i "${ncount}a export FOAM_INST_DIR=/opt/\$WM_PROJECT" etc/bashrc && \
    source /etc/bashrc && \
    ${OF50} && \
    ./Allwmake -j 
RUN echo "OpenFOAM 5.x make completed !! " 
RUN source /opt/etc/bashrc && \
    mkdir -p /opt && \
    export BUILD_DIR=/opt/OpenFOAM && \
    mkdir -p $BUILD_DIR && \
    cd $BUILD_DIR && \
    git clone https://gitee.com/diyboy/OpenFOAM-6.git && \
    git clone https://gitee.com/diyboy/ThirdParty-6.git 
RUN echo "OpenFOAM 6.0 download completed !!" 
RUN source /opt/etc/bashrc && \
    echo "export OF60='source /opt/OpenFOAM/OpenFOAM-6/etc/bashrc ' " >> /etc/bashrc && \
    cd /opt/OpenFOAM/OpenFOAM-6 && \
    ncount=$(grep -n 'export FOAM_INST_DIR=\$HOME/\$WM_PROJECT' etc/bashrc | cut -f1 --delimiter=':') && \
    sed -i "${ncount}d" etc/bashrc && \
    ncount=$((${ncount}-1)) && \
    sed -i "${ncount}a export FOAM_INST_DIR=/opt/\$WM_PROJECT" etc/bashrc && \
    source /etc/bashrc && \
    ${OF60} && \
    ./Allwmake -j 
RUN echo "OpenFOAM 6.0 make completed !! " 
RUN source /opt/etc/bashrc && \
    mkdir -p /opt && \
    export BUILD_DIR=/opt/OpenFOAM && \
    mkdir -p $BUILD_DIR && \
    cd $BUILD_DIR && \
    git clone https://gitee.com/zhouxu2012/OpenFOAM-7.git && \
    git clone https://gitee.com/zhouxu2012/ThirdParty-7.git 
RUN echo "OpenFOAM 7.0 download completed !!" 
RUN source /opt/etc/bashrc && \
    echo "export OF70='source /opt/OpenFOAM/OpenFOAM-7/etc/bashrc ' " >> /etc/bashrc && \
    cd /opt/OpenFOAM/OpenFOAM-7 && \
    ncount=$(grep -n 'export FOAM_INST_DIR=\$HOME/\$WM_PROJECT' etc/bashrc | cut -f1 --delimiter=':') && \
    sed -i "${ncount}d" etc/bashrc && \
    ncount=$((${ncount}-1)) && \
    sed -i "${ncount}a export FOAM_INST_DIR=/opt/\$WM_PROJECT" etc/bashrc && \
    source /etc/bashrc && \
    ${OF70} && \
    ./Allwmake -j 
RUN echo "OpenFOAM 7.0 make completed !! " 
RUN source /opt/etc/bashrc && \
    mkdir -p /opt && \
    export BUILD_DIR=/opt/OpenFOAM && \
    mkdir -p $BUILD_DIR && \
    cd $BUILD_DIR && \
    git clone https://gitee.com/zzw0799/OpenFOAM-8.git && \
    git clone https://gitee.com/zzw0799/ThirdParty-8.git 
RUN echo "OpenFOAM 8.0 download completed !!" 
RUN source /opt/etc/bashrc && \
    echo "export OF80='source /opt/OpenFOAM/OpenFOAM-8/etc/bashrc ' " >> /etc/bashrc && \
    cd /opt/OpenFOAM/OpenFOAM-8 && \
    ncount=$(grep -n 'export FOAM_INST_DIR=\$HOME/\$WM_PROJECT' etc/bashrc | cut -f1 --delimiter=':') && \
    sed -i "${ncount}d" etc/bashrc && \
    ncount=$((${ncount}-1)) && \
    sed -i "${ncount}a export FOAM_INST_DIR=/opt/\$WM_PROJECT" etc/bashrc && \
    source /etc/bashrc && \
    ${OF80} && \
    ./Allwmake -j 
RUN echo "OpenFOAM 8.0 make completed !! " 
RUN source /opt/etc/bashrc && \
    mkdir -p /opt && \
    export BUILD_DIR=/opt/OpenFOAM && \
    mkdir -p $BUILD_DIR && \
    cd $BUILD_DIR && \
    git clone https://gitee.com/cjthermo/OpenFOAM-9.git && \
    git clone https://gitee.com/cjthermo/ThirdParty-9.git 
RUN echo "OpenFOAM 9.0 download completed !!" 
RUN source /opt/etc/bashrc && \
    echo "export OF90='source /opt/OpenFOAM/OpenFOAM-9/etc/bashrc ' " >> /etc/bashrc && \
    cd /opt/OpenFOAM/OpenFOAM-9 && \
    ncount=$(grep -n 'export FOAM_INST_DIR=\$HOME/\$WM_PROJECT' etc/bashrc | cut -f1 --delimiter=':') && \
    sed -i "${ncount}d" etc/bashrc && \
    ncount=$((${ncount}-1)) && \
    sed -i "${ncount}a export FOAM_INST_DIR=/opt/\$WM_PROJECT" etc/bashrc && \
    source /etc/bashrc && \
    ${OF90} && \
    ./Allwmake -j 
RUN echo "OpenFOAM 9.0 make completed !! " 
RUN source /opt/etc/bashrc && \
    cd /opt/OpenFOAM/ && \
    WM_PROJECT_VERSION=v1906 && \
    wget --no-check-certificate https://sourceforge.net/projects/openfoam/files/${WM_PROJECT_VERSION}/OpenFOAM-${WM_PROJECT_VERSION}.tgz && \
    wget --no-check-certificate https://sourceforge.net/projects/openfoam/files/${WM_PROJECT_VERSION}/ThirdParty-${WM_PROJECT_VERSION}.tgz && \
    tar -xzvf OpenFOAM-${WM_PROJECT_VERSION}.tgz && \
    rm -rvf OpenFOAM-${WM_PROJECT_VERSION}.tgz && \
    tar -xzvf ThirdParty-${WM_PROJECT_VERSION}.tgz && \
    rm -rvf ThirdParty-${WM_PROJECT_VERSION}.tgz && \
    echo "OpenFOAM "${WM_PROJECT_VERSION}" download completed !!" && \
    echo "export OF"${WM_PROJECT_VERSION}"='source /opt/OpenFOAM/OpenFOAM-"${WM_PROJECT_VERSION}"/etc/bashrc ' " >> /etc/bashrc && \
    cd /opt/OpenFOAM/OpenFOAM-${WM_PROJECT_VERSION}/ && \
    ncount=$(grep -n 'projectDir=\"\$HOME/OpenFOAM/OpenFOAM-\$WM_PROJECT_VERSION\"' etc/bashrc | cut -f1 --delimiter=':') && \
    sed -i "${ncount}d" etc/bashrc && \
    ncount=$((${ncount}-1)) && \
    sed -i ${ncount}'a projectDir="/opt/openfoam/OpenFOAM-\$WM_PROJECT_VERSION"' etc/bashrc && \
    source /etc/bashrc && \
    ${OFv1906} && \
    ./Allwmake -j && \
    echo "OpenFOAM "${WM_PROJECT_VERSION}" make completed !! " 
RUN source /opt/etc/bashrc && \
    cd /opt/OpenFOAM/ && \
    WM_PROJECT_VERSION=v2106 && \
    wget --no-check-certificate https://sourceforge.net/projects/openfoam/files/${WM_PROJECT_VERSION}/OpenFOAM-${WM_PROJECT_VERSION}.tgz && \
    wget --no-check-certificate https://sourceforge.net/projects/openfoam/files/${WM_PROJECT_VERSION}/ThirdParty-${WM_PROJECT_VERSION}.tgz && \
    tar -xzvf OpenFOAM-${WM_PROJECT_VERSION}.tgz && \
    rm -rvf OpenFOAM-${WM_PROJECT_VERSION}.tgz && \
    tar -xzvf ThirdParty-${WM_PROJECT_VERSION}.tgz && \
    rm -rvf ThirdParty-${WM_PROJECT_VERSION}.tgz && \
    echo "OpenFOAM "${WM_PROJECT_VERSION}" download completed !!" && \
    echo "export OF"${WM_PROJECT_VERSION}"='source /opt/OpenFOAM/OpenFOAM-"${WM_PROJECT_VERSION}"/etc/bashrc ' " >> /etc/bashrc && \
    cd /opt/OpenFOAM/OpenFOAM-${WM_PROJECT_VERSION}/ && \
    ncount=$(grep -n 'projectDir=\"\$HOME/OpenFOAM/OpenFOAM-\$WM_PROJECT_VERSION\"' etc/bashrc | cut -f1 --delimiter=':') && \
    sed -i "${ncount}d" etc/bashrc && \
    ncount=$((${ncount}-1)) && \
    sed -i ${ncount}'a projectDir="/opt/openfoam/OpenFOAM-\$WM_PROJECT_VERSION"' etc/bashrc && \
    source /etc/bashrc && \
    ${OFv2106} && \
    ./Allwmake -j && \
    echo "OpenFOAM "${WM_PROJECT_VERSION}" make completed !! "

4.制作docker容器

docker build -f ./siyuan1.DockerFile -t siyuan1 .

5.将docker容器转换成singularity容器

singularity build --force siyuan1.sif docker-daemon://siyuan1:latest

6.将生成的sif文件传输到超算数据节点上

scp -rv -o StrictHostKeyChecking=no ./siyuan1.sif naoxb@data.hpc.sjtu.edu.cn:~/sif-file/siyuan1-latest.sif 
scp -rv -o StrictHostKeyChecking=no ./siyuan1.sif naoxb@sydata.hpc.sjtu.edu.cn:~/sif-file/siyuan1-latest.sif

后记

本篇为博客https://blog.youkuaiyun.com/joshua_shi_t/article/details/124604379上海交大超算OF容器制作https://blog.youkuaiyun.com/joshua_shi_t/article/details/124604379

和博客

上海交大超算OF容器制作第二篇_穿越前列线打造非凡yt的博客-优快云博客现在，我已经将第一篇中的容器定义文件更新了，安装了GMSH，并且编译安装了OpenFOAM-5,6,7,8,9,v1206，使用source/etc/bashrc&&${OF90}激活某个版本的OpenFOAM，容器定义文件如下。首先，请浏览我写的第一篇内容，链接如下。......https://blog.youkuaiyun.com/joshua_shi_t/article/details/125807665 的重制版

jmsyh
关注
【容器化】低版本docker拉取ubuntn 22.04镜像启动容器执行apt update提示 NO_PUBKEY 871920D1991BC93C
WEL测试
02-28 939
低版本docker拉取ubuntn 22.04镜像启动容器执行apt update提示 NO_PUBKEY 871920D1991BC93C
交我算使用保姆教程：在计算中心利用singularity容器训练深度学习模型
Cleo_Gao的博客
05-01 1473
在本地打包环境为容器，在计算中心上提交任务，用容器训练模型
上海交大超算容器制作
joshua_shi_t的博客
05-06 900
上海交大超算OF容器制作
国内开源镜像站点汇总
Lzcsfg的博客
07-22 6105
一、站点版 （一）、企业站 网易：欢迎访问网易开源镜像站（2021.2已用容量估计：13.9T） 搜狐：Index of / 阿里云：https://mirrors.aliyun.com（部分镜像同步延迟超过1天） 首都在线科技股份有限公司（英文名Capital Online Data Service）：http://mirrors.yun-idc.com/ 华为云：https://mirrors.huaweicloud.com/ 腾讯云：腾讯软件源 平安云：https://mirr
Ubuntu最新镜像下载，国内镜像源地址大全
天道酬勤，地道酬善，人道酬诚，商道酬信，业道酬精
09-02 6965
想下载ubuntu各个版本，但是官网访问太慢，我把所有国内镜像源地址都复制出来了，其他国家的镜像地址可以直接点链接，比如清华镜像，老是封我，如果iso文件下载失败，就下载.torrent文件，用迅雷 或者 网盘工具打开（我就是用迅雷下的~）
CentOS 7.9 停止维护(2024-6-30)后可用在线yum源 —— 筑梦之路
筑梦之路
07-02 2万+
众所周知，centos 7 在2024年6月30日，生命周期结束，官方不再进行支持维护，而很多环境一时之间无法完全更新替换操作系统，因此对于yum源还是需要的，特别是对于互联网环境来说，在线yum源使用方便很多，而不需要去搭建本地yum源和内网yum源。这里以阿里云为例，其他国内开源镜像站类似。
源镜像汇总
wang19890242的专栏
06-04 1128
镜像地址整理
laTex使用教程及模板「latex-SJTUg」
04-25
在本教程中，我们将深入探讨LaTeX的使用方法以及如何利用SJTUg模板进行论文排版。SJTUg模板是上海交通大学开发的一个开源项目，特别适用于学术论文和报告的编写，它提供了一套完整的格式规范，包括SJTU论文管理系统...
SJTU计算机科学与技术实验教程
资源摘要信息:"SJTU_CSAPP_LAB" 本资源摘要是关于上海交通大学（SJTU）的计算机科学与技术学院（CS）提供的《深入理解计算机系统》（CSAPP）课程的实验室作业（LAB）相关信息的概述。《深入理解计算机系统》是一门...
SJTU-Plus服务Docker容器化部署指南
- **sjtu-plus-docker** 是一个针对SJTU-Plus服务的Dockerfile，意味着通过这个Dockerfile，用户可以构建一个包含SJTU-Plus服务的Docker镜像。SJTU-Plus可能是一个特定的服务或应用，但具体是什么服务在文档中并未...
LaTeX教程与SJTU模板使用指南
针对特定需求，还会有专门设计的文档类，例如用于排版学术论文的IEEEtran、用于制作幻灯片的beamer等。 ### 知识点五：LaTeX中的数学环境 LaTeX擅长处理复杂的数学公式和符号。它提供了多种数学环境，如行内公式、...
Centos系统切换Vault仓库
zjmoon1314的博客
07-30 725
由于Centos系统已经停止维护，我们无法从自带的官方仓库安装软件包，通过修改repo文件切换到Vault仓库，可以解决这个问题。
Centos小白之在CentOS8.5中安装Rabbitmq 3.10.8
磨刀不误砍柴工
04-28 1017
13.如果使用guset账户登录不上，guest账户只能127.0.0.1访问的本机登录。那应该是上方的配置有问题，比如你是8.5的系统，你配置的源来自于8.0系统。安装以及运行等其他操作，要使用root账号进行，否则会遇到很多麻烦的事情。使用清华大学镜像，注意系统不同，配置不同，我这里的系统是8.5.2111。修改 etc/yum.repos.d/AppStream.repo。修改 /etc/yum.repos.d/BaseOS.repo。修改 /etc/yum.repos.d/Extras.repo。
CentOS 各版本镜像下载
热门推荐
小青龍 的博客
04-15 6万+
CentOS Linux 各版本镜像下载方式，CentOS Stream 8 镜像下载，CentOS Stream 9 镜像下载，CentOS官网镜像下载，CentOS 国内镜像网站下载
CentOS 7.9非X86架构系统生命周期结束后（2024-6-30）配置在线可用yum源 —— 筑梦之路
筑梦之路
07-11 1837
【代码】CentOS 7.9 arm64架构配置在线yum源 —— 筑梦之路。
杂记（一些乱七八糟的记录）
Github主页：https://github.com/xinyangwy
12-27 848
杂记（一些乱七八糟的记录）
k8s部署prometheus + grafana
变成习惯
07-29 1万+
k8s以Deployment方式部署prometheus + grafana： 主机说明： 系统 ip 角色 cpu 内存 hostname CentOS 7.8 192.168.30.128 master >=2 >=2G master1 CentOS 7.8 192.168.30.129 master >=2 >=2G master2 CentOS 7.8 192.168.30.130 node >=2 >=2G node1 Cent
SJTU-Application 开源项目教程
最新发布
gitblog_00441的博客
11-14 644
SJTU-Application 是一个开源项目，旨在为上海交通大学的学生和教职工提供一个便捷的应用程序接口（API）和工具集，以便于他们更好地管理和使用校园资源。该项目由上海交通大学的学生团队开发和维护，致力于提供高效、可靠的服务。 ## 项目快速启动 ### 环境准备 在开始之前，请确保您的开发环境已经安装了以下工具： - Git - Node.js (推荐版本 v14.x 或更高)
镜像源合集(2025.2.7)
2403_86881970的博客
02-07 4329
镜像源合集(2025.2.7) 主要包含yum kali pacman docker 附有blackarch archlinuxcn源
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

jmsyh

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值