1. 环境准备与集群规划:别急着敲命令
很多朋友一上来就照着教程敲命令,结果不是网络不通就是版本冲突,折腾半天又得重来。我刚开始玩K8S和Harbor的时候也这样,踩了不少坑。所以咱们第一步,千万别急着动手,先把“地基”打好。这个地基,就是你的服务器环境和整体架构规划。想一次部署成功,后面少折腾,这步绝对不能省。
首先说说服务器。我强烈建议,生产环境千万别用单台机器搞“All in One”,那是给自己挖坑。根据我的经验,一个能扛住生产流量、具备高可用能力的最小集群,至少需要6台服务器:3台管理节点(也叫Master节点),3台计算节点(也叫Worker节点)。管理节点是集群的大脑,负责调度和决策,三台可以互为备份,任何一台挂了都不影响集群运行。计算节点是干活的肌肉,真正运行你的容器应用。另外,我们还需要单独一台服务器来部署Harbor私有镜像仓库。所以总共是7台。你可能觉得多,但这是为稳定性付出的必要成本。虚拟机完全可以,我用的是Ubuntu 22.04 LTS,系统稳定,社区支持也好。
硬件配置上,管理节点可以“瘦”一点,2核4G内存起步就够,但一定要保证网络稳定。计算节点就得看你的应用需求了,跑微服务的话,4核8G是基础。硬盘最好用SSD,IO性能对容器启动速度影响巨大。网络规划是另一个核心。确保这7台机器在同一个局域网段内,能互相通过IP地址ping通,并且防火墙要放行必要的端口(比如K8S的6443、2379,Harbor的80、443)。我吃过亏,有一次部署完发现节点间通信时好时坏,查了半天是防火墙规则没配全。
最后,给每台机器起个好记的主机名很重要,别再用什么localhost或者默认的一串字符了。我的习惯是:管理节点叫 k8s-master-01, k8s-master-02, k8s-master-03;计算节点叫 k8s-worker-01, k8s-worker-02, k8s-worker-03;Harbor服务器就叫 harbor。这样在后续的配置文件和排查问题时,一眼就能分清谁是谁,效率高很多。
1.1 系统基础配置:统一环境,避免“玄学”问题
服务器准备好之后,咱们得给这7台机器做一个统一的“系统级美妆”。很多教程把这步一带而过,但恰恰是这些基础配置不一致,会导致后面出现各种“玄学”错误。咱们一步一步来,确保每台机器都一样。
第一件事,全部切换到root用户操作,避免权限问题。Ubuntu默认root密码是锁定的,先设置一下:sudo passwd root,然后输入新密码。之后的操作我们都用root。
第二,安装必备的基础工具。新装的Ubuntu可能连vim和curl都没有。咱们批量搞定:
apt update && apt upgrade -y
apt install -y vim curl wget net-tools openssh-server
vim是编辑配置文件的神器,curl和wget用来下载文件,net-tools包含ifconfig等老牌网络工具,openssh-server让你能远程连接。装完记得启动SSH并设置开机自启:systemctl enable --now ssh。
第三,配置SSH允许root登录。有些云主机或严格的安全策略默认禁止root远程登录,我们需要打开它(生产环境后期可根据安全要求再关闭)。
vim /etc/ssh/sshd_config
找到 #PermitRootLogin prohibit-password 这一行,去掉注释#,并把值改成 yes。保存退出后,重启SSH服务:systemctl restart sshd。这样你就能用Xshell、MobaXterm或者FinalShell等工具顺畅地连接所有服务器了。我特别喜欢用MobaXterm,因为它能同时向多个会话发送相同的命令,批量配置效率翻倍。
第四,修改主机名。前面规划好的名字,现在给每台机器安排上。比如在k8s-master-01上执行:
hostnamectl set-hostname k8s-master-01
修改后一定要退出当前SSH会话,重新登录,你才能看到终端提示符里的主机名变了。这个步骤7台机器都要做,并且要一一对应,不能搞混。
1.2 关键系统参数调优:为K8S铺平道路
系统基础配置好了,接下来是针对K8S的一些特定优化。这些设置能确保K8S的核心组件,比如kubelet,能够稳定运行。
首要任务是关闭Swap交换分区。K8S的设计理念是,如果节点内存不足,应该由调度器把Pod(容器组)赶到其他内存充足的节点去,而不是让节点自己使用硬盘上的Swap空间。使用Swap会导致性能急剧下降,而且可能干扰K8S对节点资源的管理。关闭方法很简单:
swapoff -a
这命令是临时关闭。为了永久生效,我们还需要编辑 /etc/fstab 文件,找到带有 swap 字样的那一行,在行首加上 # 注释掉它,然后保存。这样重启后Swap也不会再启用。
接着,我们需要加载一些内核模块并修改内核参数。创建一个配置文件:
cat > /etc/modules-load.d/k8s.conf << EOF
br_netfilter
EOF
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
然后执行命令让配置生效:
modprobe br_netfilter
sysctl --system
这里解释一下:br_netfilter模块让iptables规则能对桥接的网络流量进行过滤,这是K8S网络模型(如Calico、Flannel)工作的基础。ip_forward=1开启了IP转发功能,让节点可以充当路由器,这也是Pod跨节点通信所必需的。
最后,安装一些K8S依赖的小工具:
apt install -y socat conntrack ebtables ipset
这些工具会被K8S的kubelet等组件在后台调用,虽然你可能直接接触不到,但缺了它们集群就可能出各种奇怪问题。把这些命令在7台服务器上全部执行一遍,你的基础环境就堪称“模范生”了,为后续安装扫清了绝大多数障碍。
2. 高可用K8S集群搭建实战:告别单点故障
基础环境打牢了,现在可以开始搭建K8S集群的核心部分了。网上手动一步步安装的教程很多,但那对新手和追求效率的团队来说太不友好了,光是一个个组件版本匹配就能让人头大。我这里推荐一个神器:KubeKey。它是KubeSphere社区出品的一款集群生命周期管理工具,能极大地简化安装过程,特别是对于多节点高可用集群的部署,几乎是一键完成。我用它部署过不下十次,非常稳定。
2.1 使用KubeKey快速生成集群配置
首先,我们选一台管理节点(比如k8s-master-01)作为部署机。所有安装命令都在这台机器上执行,它会通过SSH自动去配置其他节点。
第一步是下载KubeKey。为了国内下载速度,我们先设置一个环境变量指向国内镜像源:
export KKZONE=cn
curl -sfL https://get-kk.kubesphere.io | sh -
下载完成后,你会得到一个名为 kk 的可执行文件。给它加上执行权限:chmod +x kk。现在,我们可以用它来生成一个集群配置文件模板了:
./kk create config --with-kubernetes v1.26.15 --with-kubesphere v3.4.0
这里我指定了K8S版本为 v1.26.15(一个比较稳定且兼容性好的版本),并同时安装KubeSphere v3.4.0。KubeSphere是一个超级好用的K8S图形化管理界面,功能比原生的Dashboard强太多,有应用商店、监控告警、DevOps流水线等,对团队协作非常友好。--with-kubesphere参数是可选的,如果你只想要纯净的K8S,可以不加。
命令执行后,会生成一个 config-sample.yaml 文件。这个文件就是整个集群的“蓝图”,我们需要仔细修改它。
2.2 详解集群配置文件:画好你的架构图
用 vim config-sample.yaml 打开文件,里面内容看起来很多,但咱们只需要关注几个关键部分。
第一部分:hosts。这是定义所有集群节点信息的地方。你需要列出前面准备的6台K8S服务器(3台Master,3台Worker)。
hosts:
- {name: k8s-master-01, address: 192.168.1.101, internalAddress: 192.168.1.101, user: root, password: "YourPassword101"}
- {name: k8s-master-02, address: 192.168.1.102, internalAddress: 192.168.1.102, user: root, password: "YourPassword102"}
- {name: k8s-master-03, address: 192.168.1.103, internalAddress: 192.168.1.103, user: root, password: "YourPassword103"}
- {name: k8s-worker-01, address: 192.168.1.104, internalAddress: 192.168.1.104, user: root, password: "YourPassword104"}
- {name: k8s-worker-02, address: 192.168.1.105, internalAddress: 192.168.1.105, user: root, password: "YourPassword105"}
- {name: k8s-worker-03, address: 192.168.1.106, internalAddress: 192.168.1.106, user: root, password: "YourPassword106"}
注意把address、internalAddress换成你服务器的真实内网IP,password也换成对应的root密码。name必须和之前用hostnamectl设置的主机名完全一致。
第二部分:roleGroups。这里定义哪些节点是管理节点,哪些是计算节点。
control-plane:
hosts:
- k8s-master-01
- k8s-master-02
- k8s-master-03
etcd:
hosts:
- k8s-master-01
- k8s-master-02
- k8s-master-03
worker:
hosts:
- k8s-worker-01
- k8s-worker-02
- k8s-worker-03
通常我们把etcd(集群的分布式数据库)和control-plane(控制平面)部署在同样的三台管理节点上,构成高可用。worker就是纯计算节点。
第三部分:一个容易被忽略但至关重要的设置——负载均衡器。因为我们有三个管理节点,客户端(比如kubectl)需要有一个统一的入口来访问API Server。在生产环境,我们会在外部用Nginx、HAProxy或者硬件负载均衡器来做这个事。但在部署阶段,KubeKey可以帮我们在集群内部内置一个简单的HAProxy作为负载均衡器。找到 internalLoadbalancer 这一项,对于多管理节点集群,务必取消注释并确保其值为haproxy:
internalLoadbalancer:
haproxy:
enabled: true # 确保这里是 true
type: internal
这个内置的HAProxy会以Pod的形式运行在某个Worker节点上,并提供一个虚拟IP(VIP),kubectl通过这个VIP来访问集群,后端会自动分发请求到三个健康的Master节点。
2.3 一键创建集群与验证
配置文件确认无误后,激动人心的时刻到了,执行创建命令:
./kk create cluster -f config-sample.yaml
接下来,KubeKey会做一系列工作:检查环境、分发安装包、初始化节点、安装容器运行时(默认是containerd)、安装K8S各个组件、配置网络插件(默认是Calico)。整个过程是全自动的,并且会在终端显示详细的日志。你会看到它依次连接各个节点,下载镜像(可能会比较慢,取决于网络),最后提示“Installation is complete”。
完成后,在部署机上,KubeKey会自动将集群的访问配置(kubeconfig文件)合并到你的 ~/.kube/config 中。现在,你可以用 kubectl 命令来管理集群了。验证一下:
kubectl get nodes
你应该能看到6个节点,状态都是 Ready。再验证一下核心组件:
kubectl get pods -n kube-system
看看coredns、calico相关的Pod是否都在运行。如果一切正常,恭喜你,一个高可用的K8S集群已经搭建成功!通过浏览器访问 http://<任意Worker节点IP>:30880,就能进入KubeSphere的登录页面,默认账号是admin,密码是P@88w0rd。这个图形化界面会让你后续的管理工作轻松很多。
3. Harbor私有镜像仓库部署与优化
K8S集群跑起来了,但它从哪里拉取我们自己开发的应用程序镜像呢?直接使用Docker Hub的公共仓库,不仅有速率限制,安全和隐私更是大问题。所以,搭建一个企业级私有的镜像仓库势在必行。Harbor是当前最成熟、功能最全的开源镜像仓库方案,由VMware中国团队开源,现在属于CNCF。它不仅有基本的镜像存储、推送/拉取功能,还提供了图形化管理界面、基于角色的访问控制(RBAC)、镜像漏洞扫描、镜像复制(同步)等高级功能。
3.1 Docker引擎的安装与配置
Harbor本身是以一组Docker容器的形式运行的,所以我们需要先在Harbor服务器(我们之前规划的harbor那台机器)上安装Docker。这里我提供一个比较干净的手动安装方法,避免用apt安装可能带来的版本混乱。
首先,去Docker官网下载特定版本的二进制包。我习惯用20.10.24,比较稳定。你可以用wget下载,或者先下到本地再上传到服务器。
cd /opt
wget https://download.docker.com/linux/static/stable/x86_64/docker-20.10.24.tgz
tar -zxvf docker-20.10.24.tgz
解压后是一堆二进制文件。我们把它们复制到系统的可执行路径下:
mv docker/* /usr/bin/
接着,创建Docker的系统服务配置文件。这个文件告诉系统如何启动和管理Docker守护进程。
cat > /etc/systemd/system/docker.service << 'EOF'
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target
[Service]
Type=notify
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=1048576
LimitNPROC=1048576
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
[Install]
WantedBy=multi-user.target
EOF
然后创建Docker的配置目录和配置文件,这里我们可以配置镜像加速器,国内访问Docker Hub会快很多。
mkdir -p /etc/docker
cat > /etc/docker/daemon.json << 'EOF'
{
"registry-mirrors": ["https://your-mirror.mirror.aliyuncs.com"],
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2"
}
EOF
把 "https://your-mirror.mirror.aliyuncs.com" 替换成你的加速器地址,比如阿里云、腾讯云提供的。cgroupdriver设置为systemd是为了和K8S的kubelet保持一致,避免不兼容。
现在,创建docker用户组并启动服务:
groupadd docker
systemctl daemon-reload
systemctl enable --now docker
执行 docker version 和 docker info,没有报错就说明Docker安装成功了。
3.2 Harbor的安装与基础配置
接下来安装Harbor。我们去Harbor的GitHub Release页面下载离线安装包,它包含了运行所需的所有镜像,安装时无需联网拉取,非常方便。
cd /opt
wget https://github.com/goharbor/harbor/releases/download/v2.10.0/harbor-offline-installer-v2.10.0.tgz
tar -zxvf harbor-offline-installer-v2.10.0.tgz
cd harbor
解压后进入目录,首先复制配置文件模板并编辑:
cp harbor.yml.tmpl harbor.yml
vim harbor.yml
这个配置文件需要修改几个关键地方:
hostname: 把它改成你Harbor服务器的IP地址或者域名。比如hostname: 192.168.1.107。如果后续要用域名访问,这里就填域名,并且要确保你的DNS或者所有客户端机器的/etc/hosts文件能解析这个域名。http和https: 对于内部测试或初期使用,可以先用HTTP以简化配置。找到https相关配置,将其注释掉,并确保http的端口(默认80)是开放的。# https related config #https: # port: 443 # certificate: /your/certificate/path # private_key: /your/private/key/pathharbor_admin_password: 这是Harbor管理员(admin)的密码,默认是Harbor12345,生产环境一定要改成一个强密码。database.password: 这是Harbor内部数据库的密码,同样建议修改。
保存配置文件后,执行安装脚本:
./install.sh
脚本会自动加载Docker镜像,并启动一系列容器(PostgreSQL, Redis, Nginx, Harbor核心服务等)。看到 ✔ ----Harbor has been installed and started successfully.---- 就表示成功了。
现在,打开浏览器,访问 http://<你的Harbor服务器IP>,就能看到Harbor的登录界面了。用 admin 和你刚才设置的密码登录。第一次登录后,我建议你立刻做两件事:一是修改admin的默认密码;二是创建一个新的项目(Project),比如叫 myapp,后续我们自己的镜像就推送到这个项目下。
3.3 集成Harbor与K8S集群:让集群认识你的仓库
Harbor装好了,但K8S集群还不知道它的存在,从私有仓库拉取镜像时会报权限错误。我们需要在K8S集群中创建一个“镜像拉取密钥”(Image Pull Secret)。
首先,在打算推送镜像的机器(比如你的CI/CD服务器或者开发机)上登录Harbor:
docker login 192.168.1.107 -u admin -p <你的密码>
登录成功后,docker会在 ~/.docker/config.json 文件中保存你的认证信息。我们需要利用这个文件在K8S中创建Secret。
把 config.json 文件的内容进行Base64编码:
cat ~/.docker/config.json | base64 -w 0
会输出很长一串字符,复制它。
然后,在K8S集群的任意节点(比如k8s-master-01)上,创建一个YAML文件,比如 harbor-secret.yaml:
apiVersion: v1
kind: Secret
metadata:
name: harbor-registry-secret
namespace: default # 这个secret创建在哪个命名空间,后续Pod也要在这个命名空间才能用
type: kubernetes.io/dockerconfigjson
data:
.dockerconfigjson: <这里粘贴刚才复制的Base64编码字符串>
应用这个配置:kubectl apply -f harbor-secret.yaml。
现在,当你在K8S中部署应用,Pod的YAML文件里就可以引用这个Secret了:
apiVersion: apps/v1
kind: Deployment
metadata:
name: my-app
spec:
template:
spec:
imagePullSecrets:
- name: harbor-registry-secret # 引用我们创建的Secret
containers:
- name: my-app
image: 192.168.1.107/myapp/my-app:v1.0 # 镜像地址指向你的Harbor仓库
这样,K8S在调度Pod到某个节点时,就会使用这个Secret里的认证信息去Harbor拉取镜像,不会再被“401 Unauthorized”错误拦住。这一步是打通私有仓库和K8S集群的关键,务必做好。
4. 生产环境进阶配置与CI/CD集成思路
基础功能都跑通了,但要想真正用于生产,还有一些“硬骨头”要啃。这些配置关乎系统的稳定性、安全性和可维护性,是区分“玩具”和“工具”的关键。
4.1 Harbor的高可用与数据持久化
默认安装的Harbor,所有数据(镜像文件、数据库、Redis缓存)都保存在容器内部或宿主机的本地目录。一旦服务器硬盘损坏,所有镜像数据将丢失,这是灾难性的。生产环境必须配置外部存储和数据库。
数据持久化:Harbor的镜像文件默认存储在 /data 目录下。我们应该把这个目录挂载到外部存储,比如NFS、Ceph、或者云厂商提供的块存储/对象存储。修改 harbor.yml 文件:
data_volume: /mnt/nfs/harbor_data # 指向一个NFS挂载点或大容量持久化磁盘
对于数据库和Redis,Harbor也支持使用外部服务。你可以注释掉 internal 的配置,改用自己维护的PostgreSQL和Redis集群,这样数据更安全,也方便备份和迁移。
高可用部署:单台Harbor服务器存在单点故障风险。Harbor支持多节点集群部署,通过共享后端存储(如S3/OSS)和外部数据库,可以实现多个Harbor实例同时提供服务,并通过负载均衡器对外暴露一个统一入口。官方提供了基于Helm Chart在K8S上部署Harbor集群的方案,这能最大程度地利用K8S的调度和自愈能力。虽然配置复杂一些,但对于核心业务系统来说是值得的。
启用漏洞扫描:Harbor集成了Trivy、Clair等扫描器,可以对推送到仓库的镜像进行CVE漏洞扫描。在项目设置中启用“自动扫描”,并设置阻止策略(例如,发现高危漏洞则阻止该镜像被拉取)。这能有效将安全左移,避免有漏洞的镜像流入生产环境。
4.2 K8S集群的监控与日志收集
集群跑起来只是开始,知道它“跑得怎么样”更重要。你需要一套监控系统来洞察集群的健康状态。
监控方案:Prometheus + Grafana 是云原生领域的监控事实标准。KubeSphere已经内置了基于这两者的监控面板,开箱即用。你可以通过KubeSphere界面查看集群、节点、Pod的CPU、内存、网络、磁盘等资源使用情况。如果想更深入,可以部署 kube-prometheus-stack 这个Helm Chart,它能部署一整套完整的监控栈。
日志收集:当应用出问题时,查看日志是首要操作。但Pod是 ephemeral(短暂的),重启后日志就没了。我们需要一个中心化的日志收集方案。经典的EFK栈(Elasticsearch, Fluentd/Fluent Bit, Kibana)依然强大。更轻量级的选择可以用 Loki + Grafana,Loki是Grafana Labs出的日志聚合系统,专门为容器日志设计,索引小,查询快。部署一个 Fluent Bit 的DaemonSet到每个节点,它就会自动收集节点上所有容器的日志,并发送到Loki或Elasticsearch。
这里给一个快速部署Fluent Bit到K8S的示例(需要先添加Helm仓库):
helm repo add fluent https://fluent.github.io/helm-charts
helm install fluent-bit fluent/fluent-bit -n logging --create-namespace \
--set backend.type=loki \
--set backend.loki.url=http://<你的loki服务地址>:3100
监控和日志是生产环境的“眼睛”和“耳朵”,没有它们,运维就是在摸黑走路。
4.3 融入CI/CD流水线:自动化部署的最后一步
整套环境(K8S+Harbor)的最终价值,在于支撑应用的自动化构建、测试和部署。这里我分享一个最简化的GitLab CI/CD流水线思路,你可以基于此扩展。
假设你的代码仓库在GitLab,项目里有一个 Dockerfile 和一个K8S部署文件 deployment.yaml。
-
构建与推送镜像:当代码合并到主分支时,GitLab Runner(执行CI任务的机器)会执行构建。
# .gitlab-ci.yml 片段 build: stage: build script: - docker build -t $HARBOR_REGISTRY/$HARBOR_PROJECT/my-app:$CI_COMMIT_SHA . - docker login $HARBOR_REGISTRY -u $HARBOR_USERNAME -p $HARBOR_PASSWORD - docker push $HARBOR_REGISTRY/$HARBOR_PROJECT/my-app:$CI_COMMIT_SHA这里用Git提交的SHA作为镜像标签,保证唯一性。
HARBOR_*这些变量需要在GitLab项目的Settings -> CI/CD -> Variables里设置,避免密码硬编码。 -
更新K8S部署:镜像推送到Harbor后,触发部署阶段。我们使用
kubectl set image命令来更新线上Deployment的镜像版本。deploy: stage: deploy script: - kubectl config use-context my-k8s-cluster # 切换到你的集群上下文 - kubectl set image deployment/my-app my-app=$HARBOR_REGISTRY/$HARBOR_PROJECT/my-app:$CI_COMMIT_SHA -n default - kubectl rollout status deployment/my-app -n default --timeout=60s你需要事先在GitLab Runner上配置好
kubeconfig文件,使其有权限操作你的K8S集群。rollout status命令会等待部署完成或超时,确保部署过程可观测。
这套流程实现了“代码即配置,提交即部署”。更进一步,你可以在中间加入代码扫描、单元测试、集成测试、安全扫描等步骤,形成一个完整的DevOps流水线。KubeSphere本身也提供了强大的可视化DevOps工程功能,可以直接在界面上配置流水线,和Jenkinsfile兼容,对于不熟悉YAML语法的团队非常友好。
从裸机到高可用K8S集群,再到企业级镜像仓库和CI/CD流水线,这条路我走过不止一遍。最大的体会是:自动化一切可以自动化的步骤,用文档记录每一个关键决策和配置。初期多花时间在架构设计和基础配置上,后期运维的复杂度会指数级下降。当你看到代码提交后自动经过流水线变成线上 running 的Pod时,那种一切尽在掌控的感觉,是对这些繁琐部署工作最好的回报。
989



被折叠的 条评论
为什么被折叠?



