K8s: Helm包管理工具的应用以及项目分环境部署

关注

原创最新推荐文章于 2026-04-03 09:57:56 发布 1.5k 阅读 AI 写同款· GEO 优化 ›

【kubernetes】k8s中包管理工具-----Helm 超详细解读在没使用 helm 之前，向 kubernetes 部署应用，我们要依次部署 deployment、svc 等，步骤较繁琐。况且随着很多项目微服务化，复杂的应用在容器中部署以及管理显得较为复杂，helm 通过打包的方式，支持发布的版本管理和控制，很大程度上简化了 Kubernetes 应用的部署和管理。Helm 本质就是让 K8s 的应用管理（Deployment、Service 等）可配置，可以通过类似于传递环境变量的方式能动态生成。阅读详情

Helm 概述与安装

1 ) 概述

k8s中官方包管理工具, 官网: https://helm.sh/
用 Yaml 管理多个应用同时部署
- 不需要在不同的yaml中写两遍，执行两遍
- 解决一键部署的问题，联合部署
实现了部署的版本管理
- 可以实现版本回滚
应用和配置分离

2 ）安装

$ wget https://get.helm.sh/helm-v3.4.1-linux-amd64.tar.gz -O helm-v3.4.1-linux-amd64.tar.gz 下载
$ tar -zxvf helm-v3.4.1-linux-amd64.tar.gz 解压
$ sudo mv linux-amd64/helm /usr/local/bin/helm 移动到bin目录
$ which helm 验证命令
$ helm ls 列出

部署 Helm Chart

$ helm create nginx
```
Creating nginx
```
- 这样会在当前创建一个 nginx 的目录
- 在这个目录里创建了一个个的文件

$ cd nginx && ls -lah

total 16K
drwxr-xr-x   4 parallels parallels   93 Apr 28 18:53 .
drwx------. 20 parallels parallels 4.0K Apr 28 18:53 ..
drwxr-xr-x   2 parallels parallels    6 Apr 28 18:53 charts
-rw-r--r--   1 parallels parallels 1.1K Apr 28 18:53 Chart.yaml
-rw-r--r--   1 parallels parallels  349 Apr 28 18:53 .helmignore
drwxr-xr-x   3 parallels parallels  162 Apr 28 18:53 templates
-rw-r--r--   1 parallels parallels 1.8K Apr 28 18:53 values.yaml

$ cat Chart.yaml

apiVersion: v2
name: nginx
description: A Helm chart for Kubernetes

# A chart can be either an 'application' or a 'library' chart.
#
# Application charts are a collection of templates that can be packaged into versioned archives
# to be deployed.
#
# Library charts provide useful utilities or functions for the chart developer. They're included as
# a dependency of application charts to inject those utilities and functions into the rendering
# pipeline. Library charts do not define any templates and therefore cannot be deployed.
type: application

# This is the chart version. This version number should be incremented each time you make changes
# to the chart and its templates, including the app version.
# Versions are expected to follow Semantic Versioning (https://semver.org/)
version: 0.1.0

# This is the version number of the application being deployed. This version number should be
# incremented each time you make changes to the application. Versions are not expected to
# follow Semantic Versioning. They should reflect the version the application is using.
appVersion: 1.16.0

看下这里的关键信息

charts 目录是你所有的依赖库都在这个地方
templates 目录是模板目录，为了更快更好的写Services

$ cd templates && cat service.yaml

apiVersion: v1
kind: Service
metadata:
  name: {{ include "nginx.fullname" . }}
  labels:
    {{- include "nginx.labels" . | nindent 4 }}
spec:
  type: {{ .Values.service.type }}
  ports:
    - port: {{ .Values.service.port }}
      targetPort: http
      protocol: TCP
      name: http
  selector:
    {{- include "nginx.selectorLabels" . | nindent 4 }}

看这里用的是 {{ }} 来引用的变量
这是 helm 模板的特色，原生的 yaml 文件不支持
helm 把一些变量抽取出来，把其定义成可替换的字段，让其可复用
这里 {{ .Values.service.type }} 很重要, 这里的 Values 是从上层 values.yaml 中读取

上述 values.yaml 中的变量可实现彻底的应用分离
- $ cp values.yaml values-test.yaml
- 这样拷贝出一份test环境的，之后进行修改
- 在部署 helm charts 时可指定特定的 values 文件
- 这是做配置和应用分离的方法
现在可以对其进行打包了，在 nginx 上层目录中
- $ helm package nginx 这时候会在nginx同级打一个 tgz 包
- $ helm install nginx nginx-0.1.0.tgz 安装
  - 它底层会调 kubectl 部署相关的命令
- $ helm ls 列出刚刚部署的 nginx
  - 可以根据这里的 REVISION 进行升级回滚
如果要删除 $ helm delete nginx 这样相关部署都会被删除

在 JCR 中创建 Helm 仓库

私有 Helm 仓库需要有
- Helm-local 开发仓库
- Helm-test-local 测试仓库
- Helm-prod-local 生产仓库
- helm-remote 远程仓库
- 以及 Helm 虚拟仓库
创建方法，如同docker仓库，类型选择 Helm
注意在虚拟 helm 仓库中，把新增的仓库加上
在 JCR 系统的 JFrog Container Registry/Artifacts 中
- 选择 helm 仓库，点击右上角 Set Me Up
- 会自动生成 helm 的 repo 添加的命令
- $ helm repo add helm http://10.211.10.2:8081/artifactory/helm --username admin --password AP47Gv1YwDSQWJQau87twsytQRB
- 这时候会用这里的用户名和密码，连接到 server
- 这样，以后上传就自动鉴权了
- 紧接着在下面的一条命令就是部署命令，这里先不做赘述

创建应用的 Helm chart

1 ) 概述

Helm Chart 是官方子项目，我们用 Helm Chart 部署应用
在我们的应用项目中部署，这个简单的博客应用包含
- 博客应用本身
- 博客应用数据库
- ingress 负载均衡网络
这样来看，至少需要部署三个服务
每次部署如果都执行多个yaml文件
这样，很难做到版本的同进同退
基于这样的考虑，为博客应用创建 Helm chart
目的是一键部署，一键回退

2 ）创建

可以创建这个应用的helm目录，目录结构如下

k8s-blog
├── values-dev.yaml            # 开发环境变量
├── values-test.yaml            # 测试环境变量
├── values-prod.yaml          # 生产环境变量
├── Chart.yaml                  
├── charts/                           # 放一些第三方不变的依赖 默认是空的
└── templates/
│       ├── deployment.yaml
│       ├── mysql.yaml
│       ├── service.yaml
│       ├── _helpers.tpl
│       ├── ingress.yaml
│       └── NOTES.txt

3 ）Chart.yaml 重要

apiVersion: v1
appVersion: "1.0"
description: A Helm chart for K8s
name: k8s-blog
version: 0.1.1

这里面定义的是 .Release 的变量，不再 values-x.yaml 文件中的

4 ）development.yaml

示例

apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ .Release.Name }}
spec:
  replicas: 3
  selector:
    matchLabels:
      app: {{ .Release.Name }}
  template:
    metadata:
      labels:
        app: {{ .Release.Name }}
    spec:
      containers:
      - name: {{ .Release.Name }}
        image: "{{ .Values.image.repository }}:{{ .Values.image.tag }}"
        ports:
        - containerPort: {{ .Values.service.port }}
        env:
          - name: MYSQL_PORT
            value: "30306"
          - name: MYSQL_SERVER
            value: "node1.k8s"
          - name: MYSQL_DB_NAME
            value: "{{ .Values.mysql.dbName }}"
          - name: MYSQL_USER_TEST
            value: "root"
          - name: MYSQL_PASSWORD_TEST
            valueFrom:
                secretKeyRef:
                  name: mysql-password-test
                  key: MYSQL_PASSWORD_TEST
      imagePullSecrets:
      - name: regcred-local

5 ）service.yaml

apiVersion: v1
kind: Service
metadata:
  name: {{ .Release.Name }}
  labels:
    app: {{ .Release.Name }}
spec:
  ports:
  - name: port2
    protocol: TCP
    port: {{ .Values.service.port }}
    nodePort: {{ .Values.service.nodePort }}
  selector:
    app: {{ .Release.Name }}
  type: NodePort

6 ) mysql.yaml

示例

apiVersion: v1
kind: Service
metadata:
  name: mysql57
  labels:
    app: mysql
spec:
  ports:
  - port: 3306
    name: mysql
    nodePort: {{ .Values.mysql.port }}
  type: NodePort
  selector:
    app: mysql
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: mysql
spec:
  selector:
    matchLabels:
      app: mysql # has to match .spec.template.metadata.labels
  serviceName: "mysql"
  replicas: 1 # by default is 1
  template:
    metadata:
      labels:
        app: mysql # has to match .spec.selector.matchLabels
    spec:
      terminationGracePeriodSeconds: 10
      containers:
      - name: mysql
        image: mysql:8.0
        ports:
        - containerPort: 3306
          name: mysql
        volumeMounts:
        - name: host-path
          mountPath: /var/lib/mysql
        env:
          - name: MYSQL_ROOT_PASSWORD
            value: "password"
      volumes:
        - name: host-path
          hostPath:
              path: /tmp/mysql
              type: DirectoryOrCreate

7 ) values-dev.yaml

默认模板示例

# Default values for nginx.
# This is a YAML-formatted file.
# Declare variables to be passed into your templates.

replicaCount: 1

image:
  registry: 10.211.10.2:8081
  repository: 10.211.10.2:8081/docker/k8sblog
  pullPolicy: IfNotPresent
  # Overrides the image tag whose default is the chart appVersion.
  tag: "1.1"

imagePullSecrets: []
nameOverride: ""
fullnameOverride: ""

mysql:
  port: 30306
  dbName: blogDB

serviceAccount:
  # Specifies whether a service account should be created
  create: true
  # Annotations to add to the service account
  annotations: {}
  # The name of the service account to use.
  # If not set and create is true, a name is generated using the fullname template
  name: ""

podAnnotations: {}

podSecurityContext: {}
  # fsGroup: 2000

securityContext: {}
  # capabilities:
  #   drop:
  #   - ALL
  # readOnlyRootFilesystem: true
  # runAsNonRoot: true
  # runAsUser: 1000

service:
  type: ClusterIP
  port: 80

ingress:
  enabled: false
  annotations: {}
    # kubernetes.io/ingress.class: nginx
    # kubernetes.io/tls-acme: "true"
  hosts:
    - host: chart-example.local
      paths: []
  tls: []
  #  - secretName: chart-example-tls
  #    hosts:
  #      - chart-example.local

resources: {}
  # We usually recommend not to specify default resources and to leave this as a conscious
  # choice for the user. This also increases chances charts run on environments with little
  # resources, such as Minikube. If you do want to specify resources, uncomment the following
  # lines, adjust them as necessary, and remove the curly braces after 'resources:'.
  # limits:
  #   cpu: 100m
  #   memory: 128Mi
  # requests:
  #   cpu: 100m
  #   memory: 128Mi

autoscaling:
  enabled: false
  minReplicas: 1
  maxReplicas: 100
  targetCPUUtilizationPercentage: 80
  # targetMemoryUtilizationPercentage: 80

nodeSelector: {}

tolerations: []

affinity: {}

上面定义的变量，可在此文件中，按照其要求的格式，进行补充

8 ) ingress

默认 ingress 的模板

{{- if .Values.ingress.enabled -}}
{{- $fullName := include "nginx.fullname" . -}}
{{- $svcPort := .Values.service.port -}}
{{- if semverCompare ">=1.14-0" .Capabilities.KubeVersion.GitVersion -}}
apiVersion: networking.k8s.io/v1beta1
{{- else -}}
apiVersion: extensions/v1beta1
{{- end }}
kind: Ingress
metadata:
  name: {{ $fullName }}
  labels:
    {{- include "nginx.labels" . | nindent 4 }}
  {{- with .Values.ingress.annotations }}
  annotations:
    {{- toYaml . | nindent 4 }}
  {{- end }}
spec:
  {{- if .Values.ingress.tls }}
  tls:
    {{- range .Values.ingress.tls }}
    - hosts:
        {{- range .hosts }}
        - {{ . | quote }}
        {{- end }}
      secretName: {{ .secretName }}
    {{- end }}
  {{- end }}
  rules:
    {{- range .Values.ingress.hosts }}
    - host: {{ .host | quote }}
      http:
        paths:
          {{- range .paths }}
          - path: {{ . }}
            backend:
              serviceName: {{ $fullName }}
              servicePort: {{ $svcPort }}
          {{- end }}
    {{- end }}
  {{- end }}

这个可以在项目中，先不配置，以上是默认ingress模板

9 ) 对项目进行打包，示例

$ helm package k8sblog ./k8sblog，这样打成了 tgz 包
$ helm install k8sblog ./k8sblog-0.1.1.tgz 安装
必要的状态检查
- kubeclt get po
- kubeclt get svc -o wide
- kubectl logs xxx
- …
部署完成，基于服务的ip地址和端口进行访问，比如
- http://10.211.10.5:30002
- 这里 10.211.10.5 是 node1 的地址
- 从上面 kubectl get svc -o wide 命令中可见
通过这种方式，一键部署，当有10个微服务也可以这么写，非常强大

10 ）私有镜像中心JCR同步Helm Chart 应用

通过本地文件方式安装不方便，而且容易误操作
我们选择用 helm 仓库来管理，就像管理发布包一样
在JCR镜像中心获取 helm 添加仓库的命令，如
- $ helm repo add helm http://10.211.10.2:8081/artifactory/helm --username admin --password AP47Gv1YwDSQWJQau87twsytQRB
添加完仓库后，使用 $ helm repo ls 可查看已经添加的仓库
$ helm repo update 从远端获取仓库
如果需要部署，则执行
- $ curl -uadmin:AP47Gv1YwDSQWJQau87twsytQRB -T <PATH_TO_FILE> "http://10.211.10.2:8081/artifactory/helm/<TARGET_FILE_PATH>"
- 基于上述规则，修改为
- $ curl -uadmin:AP47Gv1YwDSQWJQau87twsytQRB -T k8sblog-0.1.1.tgz "http://10.211.10.2:8081/artifactory/helm/k8sblog-0.1.1.tgz
- 默认会上传到 helm-local 仓库
上传完了，再次更新 $ helm repo update
$ helm search repo k8sblog 可以搜索到
从远程JCR部署，替换本地安装的方式
- $ helm install k8sblog helm/k8sblog 安装部署
注意，在JCR的helm-local仓库中会有一个 index.yaml 的索引文件
- 可以看到为仓库下的目录文件建立索引，每次更新，该文件也会被更新
这样，在服务器上不用打本地包，通过仓库来管理和部署

Helm 版本的升级和回滚

1 ）升级

在项目 Chart.yaml 中，将版本号升级
远程仓库更新打包后进行部署，参考上述手动打包和上传部署
- $ git pull
- $ helm package k8sblog 打包成新tgz包
- $ curl -uadmin ... 注意文件的版本
$ helm upgrade k8sblog helm/k8sblog --version 0.1.2 升级某个版本
$ kubectl get po 升级后的必要检查，此处省略其他检查命令

2 ）回退

$ helm rollback k8sblog 1 回退到上一个版本

在不同环境下部署 Helm Chart

在项目的 yaml 文件中，包含多个 value-xxx.yaml 文件
创建测试和生产环境命名空间
- $ kubectl create ns test
- $ kubectl create ns prod
检查所有命名空间
- $ kubectl get ns
将打包好的 tgz 部署到测试命名空间
- $ helm install k8sblog k8sblog-0.1.1.tgz -f k8sblog/values-test.yaml -n test
  - 这里通过 -f 指定文件，-n指定命名空间
- $ kubectl get po -n test 检查
- $ kubectl get svc -n test 检查
如果需要删除，则 $ helm delete k8sblog -n test
这样实现了数据的隔离性，prod的也同样进行部署