Apache Zeppelin在Kubernetes上的部署与使用指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00520/article/details/148467502

Apache Zeppelin在Kubernetes上的部署与使用指南

zeppelin apache/zeppelin: 这是一个开源的数据分析平台，用于协作式数据分析、可视化和笔记本共享。它允许开发者创建和共享笔记本，其中包含数据预处理、分析和可视化步骤。适合数据分析师和数据科学家。项目地址: https://gitcode.com/gh_mirrors/zeppe/zeppelin

前言

Apache Zeppelin是一个强大的开源数据分析和可视化工具，支持多种编程语言和数据处理引擎。本文将详细介绍如何在Kubernetes集群上部署和使用Zeppelin，帮助读者充分利用Kubernetes的弹性扩展能力来运行Zeppelin及其解释器。

核心优势

在Kubernetes上运行Zeppelin具有以下显著优势：

解释器弹性扩展：每个解释器运行在独立的Pod中，实现资源隔离和按需扩展
Spark解释器自动配置：自动配置Spark on Kubernetes，无需手动设置
高度可定制：可通过YAML文件灵活定制Kubernetes资源
Spark UI访问：可直接访问Spark作业的用户界面

环境准备

在开始部署前，请确保满足以下条件：

镜像准备：
- Zeppelin ≥ 0.9.0版本的Docker镜像
- Spark ≥ 2.4.0版本的Docker镜像（如需使用Spark解释器）
Kubernetes集群：
- 已配置kubectl访问权限
- 已启用Kubernetes DNS服务
- 建议集群资源至少4核CPU和6GB内存
开发工具：
- 已安装Docker环境
- 如使用minikube，需配置足够的资源

详细部署步骤

1. 构建Zeppelin镜像

首先需要构建Zeppelin的Docker镜像：

# 克隆代码仓库
git clone <zeppelin代码仓库>
cd zeppelin

# 构建基础镜像
docker build -t zeppelin-distribution:latest -f ./Dockerfile .

# 构建服务端镜像
cd scripts/docker/zeppelin-server
docker build -t zeppelin-server:<版本号> -f ./Dockerfile .

# 构建解释器镜像
cd scripts/docker/zeppelin-interpreter
docker build -t zeppelin-interpreter:<版本号> -f ./Dockerfile .

2. 部署Zeppelin到Kubernetes

使用提供的YAML文件部署Zeppelin：

kubectl apply -f zeppelin-server.yaml

3. 访问Zeppelin Web界面

通过端口转发访问Zeppelin：

kubectl port-forward zeppelin-server 8080:80

然后在浏览器中访问http://localhost:8080即可。

Spark解释器配置

1. 构建Spark镜像

# 设置Docker环境（如使用minikube）
eval $(minikube docker-env)

# 构建Spark镜像
<spark-distribution>/bin/docker-image-tool.sh -m -t 2.4.0 build

2. 配置Spark解释器

在Zeppelin中创建笔记并配置：

%spark.conf
spark.executor.instances 5

3. 运行Spark作业

%spark
sc.parallelize(1 to 100).count

Spark执行器将自动在Kubernetes集群中创建，可通过点击段落中的"SPARK JOB"访问Spark UI。

高级配置

1. 持久化存储

默认情况下，笔记本和配置不会持久化。如需持久化，需要：

配置Kubernetes持久卷
修改zeppelin-server.yaml挂载相应卷到/notebook和/conf目录

2. 自定义域名

如需使用自定义域名访问：

配置Kubernetes Ingress
设置DNS记录指向Ingress IP
修改zeppelin-server-conf ConfigMap中的serviceDomain
应用变更

3. 解释器Pod定制

可通过以下属性定制解释器Pod：

| 属性名 | 描述 | 示例值 | |-------|------|--------| | zeppelin.k8s.interpreter.namespace | 解释器运行的命名空间 | default | | zeppelin.k8s.interpreter.serviceAccount | 使用的服务账号 | default | | zeppelin.k8s.interpreter.container.image | 解释器镜像 | apache/zeppelin:0.10.0 | | zeppelin.k8s.interpreter.gpu.type | GPU类型 | nvidia.com/gpu | | zeppelin.k8s.interpreter.gpu.nums | GPU数量 | 1 |

工作原理

1. Zeppelin on Kubernetes架构

Zeppelin Server运行在主Pod中，通过K8sStandardInterpreterLauncher创建解释器Pod。解释器Pod使用k8s/interpreter/目录下的模板创建，这些模板使用jinjava渲染，可以访问所有解释器属性。

2. Spark on Kubernetes机制

当使用Spark解释器时，Zeppelin会自动配置Spark以客户端模式运行在Kubernetes上。Spark解释器Pod作为驱动，执行器在独立的Pod中运行。

3. 服务访问机制

Zeppelin Server Pod包含一个反向代理sidecar，负责将流量路由到：

主域名 → Zeppelin Server
通配符子域名 → 解释器Pod

开发模式配置

在开发环境中，可以直接在IDE中运行Zeppelin，同时让解释器运行在Kubernetes上。需要配置以下环境变量：

ZEPPELIN_RUN_MODE=k8s
ZEPPELIN_K8S_PORTFORWARD=true
ZEPPELIN_K8S_CONTAINER_IMAGE=<image>:<version>
ZEPPELIN_K8S_SPARK_CONTAINER_IMAGE=<image>:<version>
KUBERNETES_AUTH_TOKEN=<token>