在云原生环境下，深入探讨和操作Apache Livy on Kubernetes

最新推荐文章于 2025-07-19 19:35:14 发布
最新推荐文章于 2025-07-19 19:35:14 发布
阅读量128 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 云原生 apache kubernetes
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ZpRust/article/details/133656806
云原生 专栏收录该内容
79 篇文章 ¥59.90 ¥99.00
订阅专栏
本文详述如何在云原生环境中部署和操作Apache Livy on Kubernetes，通过设置Kubernetes集群、安装Helm、添加仓库、安装Livy、访问服务以及提交Spark作业的步骤，展示了在Kubernetes上利用Livy进行大数据处理的优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Apache Livy是一个开源的Apache项目，旨在为大数据处理框架（如Apache Spark）提供REST接口，从而方便用户通过Web界面或API提交和管理作业。而Kubernetes（简称K8s）是一个流行的容器编排和管理平台，被广泛应用于云原生环境中。

本文将详细介绍如何在云原生环境下部署和操作Apache Livy on Kubernetes。我们将展示如何设置Kubernetes集群，并使用Helm进行Livy的安装和配置。

步骤1：设置Kubernetes集群

首先，您需要设置一个Kubernetes集群。您可以选择使用自己喜欢的云服务提供商（如AWS、GCP或Azure）或使用本地集群（如Minikube或Kind）。确保您已经安装并配置好Kubernetes集群，并且可以通过kubectl命令与集群进行交互。

步骤2：安装Helm

Helm是Kubernetes的包管理工具，它允许您轻松地部署和管理应用程序。在安装Livy之前，我们需要安装Helm。您可以从Helm官方网站下载并安装适用于您的操作系统的Helm客户端。

安装完成后，通过运行以下命令来验证Helm是否正确安装：

helm version

步骤3：添加Helm仓库

Livy的Helm Chart存储在Helm仓库中。我们需要将该仓库添加到Helm中，以便可以使用Helm来安装Livy。

运行

了解本专栏 订阅专栏 解锁全文
Apache Livy版本调研
手提青灯觅佳人的博客
03-18 716
Apache Livy版本调研 0.7.0/2020-02-02 Livy 0.7.0现在需要Java 8，Scala 2.11和Spark> = 2.2.0。从0.7.0开始，JDBC / ODBC功能现在变为GA。 添加了对所有当前版本的Spark（2.2.x至2.4.x）的支持。 [ LIVY-575 ]与Hive兼容的JDBC / ODBC服务器GA。 [ LIVY-678 ]添加了对REST和JDBC接口的LDAP授权支持。 0.6.0/2019-04-04 Livy 0.6.0现在
Spark内容分享(二十七)：阿里云基于 Spark 的云原生数据湖分析实践
之乎者也·的博客
01-03 1322
① 部署运维难度大目前我们大家所熟悉的Spark集群都是在传统的 Hadoop 集群内部，比如CDH，或者早期的云上的EMR集群，这种全家桶式的部署方式的好处在于组件比较丰富，但是部署组件繁多，无论是安装、部署、运维都比较复杂，带来比较大的运维和人力成本。② 弹性能力不足这种部署模式需要比较固定的资源预估，比如跑作业需要多少 master，多少worker，都要提前准备好，还要事先完成环境的安装和组件的部署。这样，弹性扩容的效率就比较差。③ 存储与计算耦合传统 Spark 集群既要部署HDFS 的 data
Spark开源REST服务——Apache Livy（Spark 客户端）
匠人精神，持之以恒！
08-14 3944
Livy是一个提供Rest接口和spark集群交互的服务。它可以提交Spark Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC客户端库。Livy也简化了与Spark与应用服务的交互,这允许通过web/mobile与Spark的使用交互。其他特点还包含:...
【云原生】Apache Livy on k8s 讲解与实战操作
匠人精神，持之以恒！
11-07 2242
Livy是一个提供Rest接口和spark集群交互的服务。它可以提交Spark Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC客户端库。Livy也简化了与Spark与应用服务的交互,这允许通过web/mobile与Spark的使用交互。其他特点还包含:Spark开源REST服务——Apache Livy（Spark 客户端）
Apache Livy (Incubating) 安装及使用指南
gitblog_00604的博客
08-07 855
Apache Livy (Incubating) 安装及使用指南 1. 项目介绍 Apache Livy 是一个开放源码的REST接口服务，用于在你的集群中远程管理和控制长时间运行的Apache Spark上下文。通过Livy，开发者可以构建基于Spark的应用程序，这些应用程序需要与多个Spark上下文进行细粒度交互。Livy提供了以下关键特性： RESTful API: 提供简单易用的接口来...
探索数据科学新边界：Apache Livy 开源项目详解
gitblog_00059的博客
06-08 794
探索数据科学新边界：Apache Livy 开源项目详解 Apache Livy 是一个为 Apache Spark 提供的强大而灵活的 RESTful 接口，旨在让开发者无论在何处，都能轻松地与 Spark 进行交互。这个开源项目支持执行代码片段或程序，并且可以在本地 Spark 环境或 Apache Hadoop YARN 集群中运行。 项目介绍 Livy 的核心功能包括： 交互式 Shel...
通过 Apache Airflow 的 Livy Operator 自动化向 EMR Serverless Spark 提交任务
weixin_45906054的博客
11-06 113
Apache Airflow是一个强大的工作流程自动化和调度工具，它允许开发者编排、计划和监控数据管道的执行。EMR Serverless Spark为处理大规模数据处理任务提供了一个无服务器计算环境。本文为您介绍如何通过Apache Airflow的Livy Operator实现自动化地向EMR Serverless Spark提交任务，以实现任务调度和执行的自动化，帮助您更有效地管理数据处理任...
Apache Livy 安装部署使用示例
Nice的博客
03-29 5489
Apache Livy 安装部署使用探索
atom-livy:用于使用Apache Livy Web API的Atom软件包
05-16
用于使用Apache Livy Web API的Atom软件包 特征 直接从Atom编辑器执行语句 通过分成一些块分别执行语句 列出/列出多个会话 列出/切换多个Livy端点 用法 安装 $ apm install atom-livy 或在GUI软件包管理器中键入“ ...
incubator-livy:Apache livy的镜像（正在孵化）
05-14
阿帕奇·利维（Apache Livy） Apache Livy是一个开放源代码的REST接口，用于从任何地方与进行交互。 它支持在本地运行或在中运行的Spark上下文中执行代码片段或程序片段。 交互式Scala，Python和R Shell 使用...
apache-livy-0.7.1-incubating-bin.zip
12-09
然而，原生Spark API虽然功能强大，但在远程管理和监控Spark作业时并不方便，这就是Livy应运而生的原因。Livy提供了RESTful API，允许开发者使用任何支持HTTP的编程语言来与Spark集群交互，极大地扩展了Spark的使用...
云原生环境下的安全控制框架设计
TechVision大咖圈聚合全球科技大咖，洞察AI、云计算、大数据等前沿趋势，为企业决策者提供智见未来的转型路径。
07-17 1050
在这个容器满天飞、微服务遍地跑的时代，安全问题就像打地鼠游戏一样，刚按下一个又冒出三个。今天我们来聊聊如何在云原生环境中构建一套靠谱的安全控制框架。
全面升级！WizTelemetry 可观测平台 2.0 深度解析：打造云原生时代的智能可观测平台
KubeSphere
07-17 845
WizTelemetry 是面向企业级多租户、多集群场景设计的可观测平台，致力于为云原生环境提供全栈可观测性解决方案，包含监控、告警、日志、通知、链路追踪和网络可观测等功能。平台以“一体化智能监控”为核心，通过多层次数据融合和智能分析，助力企业实现基础设施至应用服务的端到端可视化运维。WizTelemetry 可观测平台 2.0 不仅实现了功能上的全方位升级，更注重用户体验、系统可维护性与平台扩展能力，奠定其在 KubeSphere 生态中核心可观测能力平台的地位。
SpringBoot 3.0 挥别 spring.factories，拥抱云原生新纪元
最新发布
nextera的博客
07-19 666
假设我们正在编写一个。
云原生 DevOps 实战之Jenkins+Gitee+Harbor+Kubernetes 构建自动化部署体系
1dea_Cao的博客
07-18 1400
本文详细介绍了基于Jenkins、Gitee、Harbor与Kubernetes工具链构建企业级容器化CI/CD流水线的全流程实践。方案以Jenkins为核心调度工具，联动Gitee代码托管、Harbor容器镜像仓库与Kubernetes容器编排平台，实现从代码提交、镜像构建、镜像推送至容器部署的全链路自动化。
Apache RocketMQ + “太乙” = 开源贡献新体验
阿里巴巴云原生的博客
07-16 834
Apache RocketMQ 的茁壮成长离不开全球 800 多位开发者的积极参与和贡献。如今，Apache RocketMQ 开源社区将携手"太乙"平台，共同开启一场开源贡献竞赛，为广大开发者提供一个全新的体验平台和参与机会！新一轮开源竞赛于 6 月 1 日正式启动。
Apache SeaTunnel详解与部署（最新版本2.3.11）
super_mochi1
07-16 1292
Apache SeaTunnel是一款高性能的分布式数据集成平台，专注于实时海量数据同步。它具有丰富可扩展的连接器（支持100+数据源）、批流一体化、多引擎支持（Zeta/Flink/Spark）等特点，解决了数据源多样、同步场景复杂等技术难题。相比于DataX、Sqoop等工具，SeaTunnel在部署难度、资源占用、功能支持等方面都具有优势。部署方式支持Docker和发布包两种形式，发布包部署需配置Maven镜像、安装插件等步骤，同时提供Web管理界面便于作业监控。该平台已被近百家企业应用于生产环境，社
压力测试Apache Bench（ab）
XerCis的博客
07-16 588
Apache Bench (ab) 是 Apache HTTP 服务器自带的一款轻量级压力测试工具，专门用于评估 Web 服务器的性能表现
Apache ActiveMQ 任意文件写入漏洞（CVE-2016-3088）复现利用
Neolock的博客
07-17 957
Apache ActiveMQ在5.14.0版本前的fileserver应用中存在任意文件写入漏洞（CVE-2016-3088），攻击者可利用HTTP PUT上传文件后，通过MOVE请求将文件移动至可执行目录（如/admin或/api），实现webshell上传，或以root权限向/etc/cron.d写入定时任务反弹shell
Apache Livy安装和在java中使用
04-07
Apache Livy是一个开源项目，它提供了一种RESTful接口，用于在Apache Spark集群上运行交互式和批处理作业。这个接口使得在Java或其他编程语言中使用Spark变得更加简单和方便。 安装 1. 安装Java和Scala Livy需要Java 8或更高版本和Scala 2.11.x或2.12.x。您可以从官方网站下载Java和Scala，也可以使用包管理器进行安装。 2. 下载和编译Livy源代码 您可以从Apache Livy的官方网站https://livy.apache.org/download/下载最新版本的源代码。下载后，解压缩文件并使用以下命令编译： ``` $ mvn clean package -DskipTests ``` 3. 配置Livy 在编译完成后，将生成一个目录livy-0.7.1-incubating-bin。在该目录中，找到conf目录并编辑livy.conf文件。在该文件中，您需要配置以下参数： ``` livy.server.port = 8998 livy.file.local-dir-whitelist = /tmp livy.spark.master = spark://<spark-master>:7077 ``` 其中，livy.server.port是Livy服务器的端口号，livy.file.local-dir-whitelist是本地目录的白名单，livy.spark.master是Spark master的URL。 4. 启动Livy 在配置完成后，使用以下命令启动Livy： ``` $ bin/livy-server ``` 在启动完成后，您可以使用http://localhost:8998/访问Livy的RESTful API。 使用 在Java中使用Livy，您需要使用Livy的Java客户端库。您可以在Maven中添加以下依赖项： ```xml <dependency> <groupId>org.apache.livy</groupId> <artifactId>livy-client-common</artifactId> <version>0.7.1-incubating</version> </dependency> <dependency> <groupId>org.apache.livy</groupId> <artifactId>livy-client-spark_2.11</artifactId> <version>0.7.1-incubating</version> </dependency> ``` 1. 创建LivyClient对象 使用以下代码创建一个LivyClient对象： ```java LivyClient client = new LivyClientBuilder() .setURI(new URI("http://localhost:8998")) .build(); ``` 其中，URI参数是Livy服务器的URL。 2. 提交Spark作业 使用以下代码提交一个Spark作业： ```java JavaSparkContext spark = new JavaSparkContext("spark://<spark-master>:7077", "MyApp"); List<Integer> data = Arrays.asList(1, 2, 3, 4, 5); JavaRDD<Integer> distData = spark.parallelize(data); int result = distData.reduce((a, b) -> a + b); ``` 其中，spark参数是Spark master的URL，data是一个包含整数的列表，distData是一个JavaRDD对象，result是reduce操作的结果。 使用以下代码将作业提交到Livy服务器： ```java JobHandle<Integer> handle = client.submit(new JavaSparkJob<>(MyApp.class.getName(), result)); ``` 其中，JavaSparkJob是一个用于包装Spark作业的类，MyApp是您的Spark作业的类名，result是作业的结果。 3. 获取作业结果 使用以下代码获取作业的结果： ```java int result = handle.get(); ``` 其中，handle是提交作业后返回的JobHandle对象，result是作业的结果。 4. 关闭LivyClient对象 使用以下代码关闭LivyClient对象： ```java client.stop(true); ``` 其中，true参数表示在关闭之前等待所有作业完成。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值