Apache Zeppelin项目源码构建指南

Apache Zeppelin项目源码构建指南

zeppelin Web-based notebook that enables data-driven, interactive data analytics and collaborative documents with SQL, Scala and more. 项目地址: https://gitcode.com/gh_mirrors/zeppelin2/zeppelin

前言

Apache Zeppelin是一个基于Web的交互式数据分析工具，支持多种编程语言和数据处理引擎。对于开发者而言，从源码构建Zeppelin是深入了解项目、进行二次开发或定制化的重要步骤。本文将详细介绍从源码构建Zeppelin的完整流程。

环境准备

系统要求

在开始构建前，请确保系统满足以下最低要求：

• Git版本控制工具：用于获取源码
• Maven 3.1.x或更高版本：项目构建工具
• JDK 1.7或更高版本：Java开发环境

依赖安装（以Ubuntu为例）

sudo apt-get update
sudo apt-get install git openjdk-7-jdk npm libfontconfig r-base-dev r-cran-evaluate

Maven安装配置

wget http://www.eu.apache.org/dist/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz
sudo tar -zxf apache-maven-3.3.9-bin.tar.gz -C /usr/local/
sudo ln -s /usr/local/apache-maven-3.3.9/bin/mvn /usr/local/bin/mvn

建议配置Maven使用更多内存：

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=1024m"

源码获取与构建

1. 获取源码

git clone https://gitbox.apache.org/repos/asf/zeppelin.git

2. 基础构建命令

mvn clean package -DskipTests

3. 推荐构建配置（生产环境）

# 使用Scala 2.11
./dev/change_scala_version.sh 2.11

# 完整构建命令
mvn clean package -DskipTests -Pspark-2.0 -Phadoop-2.4 -Pr -Pscala-2.11

构建选项详解

核心构建参数

Spark版本选择

通过-Pspark-[version]参数指定Spark主版本：

-Pspark-2.1  # Spark 2.1.x
-Pspark-1.6  # Spark 1.6.x

可通过-Dspark.version=x.x.x指定具体小版本

Hadoop版本选择

通过-Phadoop-[version]参数指定Hadoop版本：

-Phadoop-2.4  # Hadoop 2.4.x
-Phadoop-2.7  # Hadoop 2.7.x

Scala版本选择（可选）

-Pscala-2.10  # 默认
-Pscala-2.11

特殊功能支持

• R语言支持：-Pr参数启用SparkR集成
• 第三方仓库：-Pvendor-repo启用商业版仓库
• MapR支持：-Pmapr[version]针对MapR发行版

典型构建示例

标准构建

# Spark 2.1 + Hadoop 2.7 + Scala 2.11
./dev/change_scala_version.sh 2.11
mvn clean package -Pspark-2.1 -Phadoop-2.7 -Pscala-2.11 -DskipTests

特殊集成构建

# Cassandra集成
mvn clean package -Pcassandra-spark-1.5 -Phadoop-2.6 -DskipTests

# CDH构建
mvn clean package -Pspark-1.5 -Phadoop-2.6 -Pvendor-repo -DskipTests

# Ignite集成
mvn clean package -Dignite.version=1.9.0 -DskipTests

代理配置（可选）

对于企业内网环境，可能需要配置代理：

Maven代理设置

编辑~/.m2/settings.xml：

<proxies>
  <proxy>
    <id>proxy-http</id>
    <active>true</active>
    <protocol>http</protocol>
    <host>proxy_host</host>
    <port>3128</port>
  </proxy>
</proxies>

NPM代理设置

npm config set proxy http://proxy_host:3128
npm config set https-proxy http://proxy_host:3128

打包与测试

生成发行包

mvn clean package -Pbuild-distr -Pspark-2.1 -Phadoop-2.7

生成的压缩包位于zeppelin-distribution/target目录。

端到端测试

# 假设Zeppelin运行在localhost:8080
mvn verify

# 或使用打包版本测试
mvn verify -P using-packaged-distr

常见问题

1. 内存不足：确保配置了MAVEN_OPTS环境变量
2. 网络问题：检查代理设置是否正确
3. 版本冲突：仔细核对各组件版本兼容性

通过以上步骤，您应该能够成功构建Apache Zeppelin项目。构建完成后，可通过./bin/zeppelin-daemon.sh start启动服务。

zeppelin Web-based notebook that enables data-driven, interactive data analytics and collaborative documents with SQL, Scala and more. 项目地址: https://gitcode.com/gh_mirrors/zeppelin2/zeppelin