rancher部署k3s集群

最新推荐文章于 2025-04-07 15:41:12 发布

二郎银

最新推荐文章于 2025-04-07 15:41:12 发布

阅读量3.3k

点赞数 1

分类专栏：云计算日常BUG 文章标签： kubernetes docker 运维

本文链接：https://blog.youkuaiyun.com/weixin_43705953/article/details/120884055

版权

云计算同时被 2 个专栏收录

28 篇文章

订阅专栏

日常BUG

18 篇文章

订阅专栏

本文介绍了k3s，一款由Rancher Labs推出的轻量级Kubernetes发行版，重点讲述了其安装简易、资源占用低、高可用框架及部署流程，适合学习和测试。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

部署K3s 集群

1 什么是k3s?

Rancher Labs是业界领先的容器软件提供商，其旗舰产品Rancher是一款开源的企业级Kubernetes管理平台，极为出色地管理和安装Kubernetes集群。k3s是ranrher推出的轻量级k8s。

k3s将安装K8s所需的一切打包进仅有60MB大小的二进制文件中，并且完全实现了Kubernetes API。为了减少运行Kubernetes所需的内存，Rancher删除了很多不必要的驱动程序，并用附加组件对其进行替换。

k3s是一款完全通过CNCF认证的Kubernetes发行版，这意味着你可以编写YAML来对完整版的Kubernetes进行操作，并且它们也将适用于k3s集群。

由于它只需要极低的资源就可以运行，因此它能够在任何512MB RAM以上的设备上运行集群，换言之，我们可以让pod在master和节点上运行。

当然，既然它是一个小型的二进制文件，那么我们可以在短时间内安装它，相比于启动常规Kubernetes集群，安装它仅需一小部时间。通常我们仅需要不到2分钟的时间就能够启动一个带有几个节点的k3s集群，也就是说，你可以一有机会就部署应用程序来学习或者进行测试。

2 k3s特点

安装简单，占用资源少，只需要512M内存就可以运行起来；
apiserver 、schedule 等组件全部简化，并以进程的形式运行在节点上，把程序都打包为单个二进制文件，每个程序只需要占用100M内存；
使用基于sqlite3的轻量级存储后端作为默认存储机制。同时支持使用etcd3、MySQL 和PostgreSQL作为存储机制；
默认使用 local-path-provisioner 提供本地存储卷；
默认安装了Helm controller 和 Traefik Ingress controller；
所有 Kubernetes control-plane 组件的操作都封装在单个二进制文件和进程中，使 K3s 具有自动化和管理包括证书分发在内的复杂集群操作的能力。
减少外部依赖，操作系统只需要安装较新的内核（centos7.6就可以，不需要升级内核）以及支持cgroup即可，k3s安装包已经包含了containerd、Flannel、CoreDNS，非常方便地一键式安装，不需要额外安装Docker、Flannel等组件。

3 k3s的高可用框架

一个高可用 K3s 集群由以下几个部分组成：
1）K3s Server 节点：两个或者更多的server节点将为 Kubernetes API 提供服务并运行其他 control-plane 服务
2）外部数据库：外部数据存储
在这里插入图片描述

3 如何部署k3s

1 节点配置

server   192.168.2.30 
agent    192.168.2.31

2 节点系统准备
与部署k8s节点类似

设置节点hostname
关掉防火墙
关掉selinux
关掉swap交换分区
内核调优
时间同步

3 配置server

# server上执行
curl -sfL http://rancher-mirror.cnrancher.com/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn sh -

#  server上执行, 查看token 
cat /var/lib/rancher/k3s/server/node-token
K1080cd0fd124c2388cb5f78d3d4ca2bd6cf7435c1946b40251ec704de91ce99489::server:c6d891564b338c60a25978f771042a02

4 配置agent

# 在agent上执行
curl -sfL http://rancher-mirror.cnrancher.com/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn K3S_URL=https://192.168.2.30:6443 K3S_TOKEN=K1080cd0fd124c2388cb5f78d3d4ca2bd6cf7435c1946b40251ec704de91ce99489::server:c6d891564b338c60a25978f771042a02  sh -

5 查看集群

[root@localhost ~]# kubectl get node 
NAME     STATUS   ROLES                  AGE    VERSION
server   Ready    control-plane,master   26m    v1.21.5+k3s2
agent    Ready    <none>                 2m3s   v1.21.5+k3s2

4 部署nginx测试

# 1 YML文件
cat > nginx-dep.yml << EOF 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  selector:
    matchLabels:
      app: nginx
  replicas: 2
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:alpine
        ports:
        - containerPort: 80
EOF
# 2 创建 
kubectl apply -f nginx-dep.yml

# 3 启动svc,暴露端口

cat > nginx-svc.yml << EOF 
apiVersion: v1
kind: Service
metadata:
  name: nginx-service
spec:
  selector:
    app: nginx
  ports:
  - protocol: TCP
    port: 80
    targetPort: 80
    nodePort: 30080
  type: NodePort
EOF
# 启动服务
kubectl apply -f nginx-svc.yml

任意节点ip:30080
在这里插入图片描述

总结：k3s部署真的非常简单快速，用来测试和学习很方便

5 k3s卸载

# 在server节点执行如下：
 /usr/local/bin/k3s-uninstall.sh
# 在agent节点执行如下：
 /usr/local/bin/k3s-agent-uninstall.sh

7 安装rancher

生成自签名证书，rancher官方文档有脚本可以一键生成： create_self-signed-cert.sh

#!/bin/bash -e
help ()
{
    echo  ' ================================================================ '
    echo  ' --ssl-domain: 生成ssl证书需要的主域名，如不指定则默认为www.rancher.local，如果是ip访问服务，则可忽略；'
    echo  ' --ssl-trusted-ip: 一般ssl证书只信任域名的访问请求，有时候需要使用ip去访问server，那么需要给ssl证书添加扩展IP，多个IP用逗号隔开；'
    echo  ' --ssl-trusted-domain: 如果想多个域名访问，则添加扩展域名（SSL_TRUSTED_DOMAIN）,多个扩展域名用逗号隔开；'
    echo  ' --ssl-size: ssl加密位数，默认2048；'
    echo  ' --ssl-cn: 国家代码(2个字母的代号),默认CN;'
    echo  ' 使用示例:'
    echo  ' ./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com \ '
    echo  ' --ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650'
    echo  ' ================================================================'
}
case "$1" in
    -h|--help) help; exit;;
esac
if [[ $1 == '' ]];then
    help;
    exit;
fi
CMDOPTS="$*"
for OPTS in $CMDOPTS;
do
    key=$(echo ${OPTS} | awk -F"=" '{print $1}' )
    value=$(echo ${OPTS} | awk -F"=" '{print $2}' )
    case "$key" in
        --ssl-domain) SSL_DOMAIN=$value ;;
        --ssl-trusted-ip) SSL_TRUSTED_IP=$value ;;
        --ssl-trusted-domain) SSL_TRUSTED_DOMAIN=$value ;;
        --ssl-size) SSL_SIZE=$value ;;
        --ssl-date) SSL_DATE=$value ;;
        --ca-date) CA_DATE=$value ;;
        --ssl-cn) CN=$value ;;
    esac
done
# CA相关配置
CA_DATE=${CA_DATE:-3650}
CA_KEY=${CA_KEY:-cakey.pem}
CA_CERT=${CA_CERT:-cacerts.pem}
CA_DOMAIN=cattle-ca
# ssl相关配置
SSL_CONFIG=${SSL_CONFIG:-$PWD/openssl.cnf}
SSL_DOMAIN=${SSL_DOMAIN:-'www.rancher.local'}
SSL_DATE=${SSL_DATE:-3650}
SSL_SIZE=${SSL_SIZE:-2048}
## 国家代码(2个字母的代号),默认CN;
CN=${CN:-CN}
SSL_KEY=$SSL_DOMAIN.key
SSL_CSR=$SSL_DOMAIN.csr
SSL_CERT=$SSL_DOMAIN.crt
echo -e "\033[32m ---------------------------- \033[0m"
echo -e "\033[32m       | 生成 SSL Cert |       \033[0m"
echo -e "\033[32m ---------------------------- \033[0m"
if [[ -e ./${CA_KEY} ]]; then
    echo -e "\033[32m ====> 1. 发现已存在CA私钥，备份"${CA_KEY}"为"${CA_KEY}"-bak，然后重新创建 \033[0m"
    mv ${CA_KEY} "${CA_KEY}"-bak
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
else
    echo -e "\033[32m ====> 1. 生成新的CA私钥 ${CA_KEY} \033[0m"
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
fi
if [[ -e ./${CA_CERT} ]]; then
    echo -e "\033[32m ====> 2. 发现已存在CA证书，先备份"${CA_CERT}"为"${CA_CERT}"-bak，然后重新创建 \033[0m"
    mv ${CA_CERT} "${CA_CERT}"-bak
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
else
    echo -e "\033[32m ====> 2. 生成新的CA证书 ${CA_CERT} \033[0m"
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
fi
echo -e "\033[32m ====> 3. 生成Openssl配置文件 ${SSL_CONFIG} \033[0m"
cat > ${SSL_CONFIG} <<EOM
[req]
req_extensions = v3_req
distinguished_name = req_distinguished_name
[req_distinguished_name]
[ v3_req ]
basicConstraints = CA:FALSE
keyUsage = nonRepudiation, digitalSignature, keyEncipherment
extendedKeyUsage = clientAuth, serverAuth
EOM
if [[ -n ${SSL_TRUSTED_IP} || -n ${SSL_TRUSTED_DOMAIN} ]]; then
    cat >> ${SSL_CONFIG} <<EOM
subjectAltName = @alt_names
[alt_names]
EOM
    IFS=","
    dns=(${SSL_TRUSTED_DOMAIN})
    dns+=(${SSL_DOMAIN})
    for i in "${!dns[@]}"; do
      echo DNS.$((i+1)) = ${dns[$i]} >> ${SSL_CONFIG}
    done
    if [[ -n ${SSL_TRUSTED_IP} ]]; then
        ip=(${SSL_TRUSTED_IP})
        for i in "${!ip[@]}"; do
          echo IP.$((i+1)) = ${ip[$i]} >> ${SSL_CONFIG}
        done
    fi
fi
echo -e "\033[32m ====> 4. 生成服务SSL KEY ${SSL_KEY} \033[0m"
openssl genrsa -out ${SSL_KEY} ${SSL_SIZE}
echo -e "\033[32m ====> 5. 生成服务SSL CSR ${SSL_CSR} \033[0m"
openssl req -sha256 -new -key ${SSL_KEY} -out ${SSL_CSR} -subj "/C=${CN}/CN=${SSL_DOMAIN}" -config ${SSL_CONFIG}
echo -e "\033[32m ====> 6. 生成服务SSL CERT ${SSL_CERT} \033[0m"
openssl x509 -sha256 -req -in ${SSL_CSR} -CA ${CA_CERT} \
    -CAkey ${CA_KEY} -CAcreateserial -out ${SSL_CERT} \
    -days ${SSL_DATE} -extensions v3_req \
    -extfile ${SSL_CONFIG}
echo -e "\033[32m ====> 7. 证书制作完成 \033[0m"
echo
echo -e "\033[32m ====> 8. 以YAML格式输出结果 \033[0m"
echo "----------------------------------------------------------"
echo "ca_key: |"
cat $CA_KEY | sed 's/^/  /'
echo
echo "ca_cert: |"
cat $CA_CERT | sed 's/^/  /'
echo
echo "ssl_key: |"
cat $SSL_KEY | sed 's/^/  /'
echo
echo "ssl_csr: |"
cat $SSL_CSR | sed 's/^/  /'
echo
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo
echo -e "\033[32m ====> 9. 附加CA证书到Cert文件 \033[0m"
cat ${CA_CERT} >> ${SSL_CERT}
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo
echo -e "\033[32m ====> 10. 重命名服务证书 \033[0m"
echo "cp ${SSL_DOMAIN}.key tls.key"
cp ${SSL_DOMAIN}.key tls.key
echo "cp ${SSL_DOMAIN}.crt tls.crt"
cp ${SSL_DOMAIN}.crt tls.crt

生成证书

sh ./create_self-signed-cert.sh --ssl-domain=ranchertest.com --ssl-trusted-ip=192.168.3.31,192.168.3.30 --ssl-size=2048 --ssl-date=3650
[root@localhost ~]# ls
anaconda-ks.cfg  cacerts.srl  create_self-signed-cert.sh  tls.crt ranchertest.crt  ranchertest.key
cacerts.pem      cakey.pem    openssl.cnf                 tls.key  ranchertestm.csr

新建一个命名空间

kubectl create namespace cattle-system
#把生成的pem证书上传到集群中去
[root@localhost ~]# kubectl -n cattle-system create secret generic tls-ca   --from-file=cacerts.pem=./cacerts.pem
secret/tls-ca created

安装helm3

[root@localhost ~] wget https://get.helm.sh/helm-v3.2.4-linux-amd64.tar.gz
[root@master helm]# ls
helm-v3.2.4-linux-amd64.tar.gz
[root@master helm]# tar -xvf helm-v3.2.4-linux-amd64.tar.gz
[root@master helm]# ls
helm-v3.2.4-linux-amd64.tar.gz  linux-amd64
[root@master helm]# mv linux-amd64/helm /usr/local/bin
[root@master helm]# helm version
version.BuildInfo{Version:"v3.2.4", GitCommit:"0ad800ef43d3b826f31a5ad8dfbb4fe05d143688", GitTreeState:"clean", GoVersion:"go1.13.12"}

添加rancher的国内的安装模块，并更新helm

helm repo add rancher-stable http://rancher-mirror.oss-cn-beijing.aliyuncs.com/server-charts/stable
helm repo update

执行helm安装rancher命令

export KUBECONFIG=/etc/rancher/k3s/k3s.yaml
helm install rancher1 rancher-2.4.8/rancher   --namespace cattle-system   --set hostname=ranchertest.com   --set ingress.tls.source=secret   --set privateCA=true

由于是在内部搭建的rancher，只能通过修改主机的host来指定域名，还需要额外的步骤, 分别添加节点的添加hostname的解析

kubectl -n cattle-system \
patch deployments cattle-cluster-agent --patch '{
    "spec": {
        "template": {
            "spec": {
                "hostAliases": [
                    {
                        "hostnames":
                        [
                            "ranchertest.com"
                        ],
                            "ip": "192.168.2.30"
                    }
                ]
            }
        }
    }
}'

最后打开我们设定的ranchertest.com网站，导入集群.