livy安装

最新推荐文章于 2025-09-08 10:07:03 发布
原创 最新推荐文章于 2025-09-08 10:07:03 发布 · 481 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#livy

本文详细介绍了如何下载、安装和配置 Livy 0.6.0 版本，包括环境变量设置和关键参数调整，以实现与 Hadoop 和 Spark 的无缝集成。

下载

wget http://mirror.bit.edu.cn/apache/incubator/livy/0.6.0-incubating/apache-livy-0.6.0-incubating-bin.zip

 

解压到对应的路径

unzip apache-livy-0.6.0-incubating-bin.zip

修改配置

名称修改

mv apache-livy-0.6.0-incubating-bin/ livy-0.6.0


 cd livy-0.6.0/conf

 mv livy.conf.template livy.conf

vim livy.conf

# Hadoop Credential Provider Path to get "livy.keystore.password" and "livy.key-password".
# Credential Provider can be created using command as follow:
# hadoop credential create "livy.keystore.password" -value "secret" -provider jceks://hdfs/path/to/livy.jceks
# livy.hadoop.security.credential.provider.path =

# What host address to start the server on. By default, Livy will bind to all network interfaces.
livy.server.host = ip

# What port to start the server on.
livy.server.port = 8998

# What base path ui should work on. By default UI is mounted on "/".
# E.g.: livy.ui.basePath = /my_livy - result in mounting UI on /my_livy/
# livy.ui.basePath = ""

# What spark master Livy sessions should use.
livy.spark.master = yarn

# What spark deploy mode Livy sessions should use.
livy.spark.deploy-mode = client

 

修改这几个参数就可以启动

配置环境变量

 

vim ~/.bash_profile


export LIVY_HOME=/data/appcom/livy-0.6.0
export PATH=$LIVY_HOME/bin:$PATH

source ~/.bash_profile

 ./livy-server start

看到这个LivyServer进程则启动成功

livy0.5.0安装
genus_yang的博客
02-28 1264
livy0.5.0安装安装步骤解压livy压缩包复制所有模板配置livy-env.sh配置livy.conf手动创建logs目录配置环境变量启动livy判定是否安装成功 安装步骤 livy是一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。livy的安装起因是因为griffin质量分析组件的依赖，故有此文。 解压livy压缩...
docker部署spark+hadoop+livy
人望山丶鱼窥荷的博客
03-16 673
python3.6为基础镜像版本，该版本linux系统为debian: FROM python:3.6 ARG WORK_DIR=/opt WORKDIR $WORK_DIR # java ADD jdk-8u281-linux-x64.tar.gz $WORK_DIR RUN mv jdk1.8.0_281 jdk ENV JAVA_HOME $WORK_DIR/jdk ENV JRE_HOME $JAVA_HOME/jre ENV CLASSPATH .:$JAVA_HOME/lib:$JR.
linux使用shell安装livy
zxczb的博客
05-15 391
###注意事项 需要配置 INSTALL_PATH SPARK_HOME HADOOP_CONF_DIR 需要准备对应hadoop版本的jersey jar,放到和安装包平级的 JAR_PATH 目录下,同时安装完成注意检查是否有不同版本的重复jar 配置 ZOOKEEPER_QUORUM (zk集群地址) #!/bin/bash ############################################### # # GIN INSTALL LIVY ENV # 需要配置 INST
Livy
在服务器上挂载OSS_bucket
12-21 265
本来这篇是要分享到我的“大数据与人工智能”专栏的，关注我的人虽然不多，但是我怕只关注devops的童鞋可能也想瞄一眼，所以在此分享。之后，只要不是属于devops工作范围的，我就一律不在此分享了，想了解其他的同学欢迎关注我的主页。 最近搭了了两套集群（hadoop集群和spark集群），而spark那一套，头说需要用到livy,就赶忙把它安装起来；(以下都是在已有集群环境上搭建的，如果是一台空的服务器，建议Google) 1、livy 简单来说，Livy是一个基于spark的开源的rest服务。 基
livy安装文档
风雨落
04-23 5373
1、下载Livy(可以自己下载源代码进行编译) http://livy.incubator.apache.org/download/ 源代码在git 上能够找到apache 版本和cloudera 两个版本 https://github.com/cloudera/livy 有比较详细的说明文档。 2、将livy的压缩包放到Linux 主机...
Livy 安装与使用之部署 Livy 服务，通过 REST API 提交 Spark 作业
最新发布
u012024132的专栏
09-08 1102
Livy 是一个开源服务，它通过 REST Web 接口简化了与 Spark 集群的交互。你可以用它来：提交预编译的 Spark Jar 或 Python 作业。提交代码片段进行交互式执行（类似 Spark Shell）。管理多个 Spark 会话（Sessions），并共享上下文。：作为 Spark 集群的网关运行，接收 REST 请求。Session：代表一个与 Spark 集群的连接。可以是（交互式）或batch（批处理）。Driver。
livy安装与部署
留不住斜阳的博客
08-16 3284
livy安装部署有两种方式：直接下载Apache社区编译好的zip包安装部署，或者下载源码进行编译安装；本文采用Apache社区编译好的zip进行安装部署。 前提： 已经安装部署好CDH集群，版本为5.14.0 将livy安装包解压到/opt/cloudera目录下 [root@cdh001 ~]# ls /opt/cloudera/ apache-livy-0.7.0-incubating-bin csd parcel-cache parcel-repo parcels 创建livy用户、
LIVY安装部署（已实战，真实有效）
weixin_51485976的博客
11-20 2630
livy下载地址：http://mirror.bit.edu.cn/apache/incubator/livy/0.5.0-incubating/livy-0.5.0-incubating-bin.zip [root@cdh04 ~]# mkdir /usr/livy [root@cdh04 ~]# mkdir /var/log/livy [root@cdh04 ~]# mkdir /var/run/livy [root@cdh04 ~]# chown hdfs /var/log/livy [root@cd
livy的安装使用
weixin_34255793的博客
03-11 5873
2019独角兽企业重金招聘Python工程师标准>>> ...
浅谈docker技术
pop_xiaohao的专栏
11-20 224
docker的作用？ 从2010云计算开始火起来，什么Iass、Pass、SasS出现了许多年，尤其是pass方面更需要一个这样的平台解决应用打包 、发布部署问题，需要解决开发本地环境，与线上环境的一致性。实际上一套pass平台无论是开发还是运维都需要发很大的精力去理解去学习。而大概从2013年docker的出现颠覆了这些做法，Docker 镜像解决的，恰恰就是打包这个根本性的问题。Docker 项目给 PaaS 带来的改变，其实是提供了一种非常便利的打包 机制。这种机制直接打包了应用运行所需要的整个包.
apache-livy-0.7.0-incubating-bin.zip
06-17
Livy是当前spark上最好的管控平台， 即使不使用Livy，也可以借鉴Livy的设计思路。当然Livy当前还没完全成熟，下面列举了几个待完善的点，社区也在开发过程中，希望Livy后续变得更加完善。
livy部署及应用
lehsyh的专栏
05-09 1347
Livy把spark交互式和批处理都搬到了web上，提供restful接口，Livy一方面接收并解析客户端提交的REST请求，转换成相应的操作，另一方面它管理着客户端所启动的spark集群Livy会为用户运行多个session，每个session就是一个常驻的spark context也可以成为一个spark集群。用户通过restful接口在对应的spark context执行代码，Livy服务端通过RPC协议与Spark集群进行通信。
Livy安装使用
baidu_27503999的博客
01-29 3457
spark任务submit，livy配置
Apache Livy 安装部署使用示例
Nice的博客
03-29 5711
Apache Livy 安装部署使用探索
【大数据】Spark开源REST服务--Apache Livy的安装和使用
如切如磋，如琢如磨，臻于至善。
03-27 1349
Livy是一个提供Rest接口和spark集群交互的服务。它可以提交Spark Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC客户端库
Hue编译安装适配sparksql（hue+livy+sparksql+pyspark）
这个人很懒。
04-17 2794
Hue是一个开源的SQL助手，用于数据仓库。它可以与Livy集成，以便更轻松地开发SQL片段。本篇文章带大家安装hue+livy，配置sparksql，pyspark
Apache Livy (Incubating) 安装及使用指南
gitblog_00604的博客
08-07 1049
**Apache Livy** 是一个开放源码的REST接口服务，用于在你的集群中远程管理和控制长时间运行的Apache Spark上下文。通过Livy，开发者可以构建基于Spark的应用程序，这些应用程序需要与多个Spark上下文进行细粒度交互。Livy提供了以下关键特性： - **RESTful API**: 提供简单易用的接口来创建、管理Spark会话。 - **异步执行**: 允许客户端...
livy使用样例_livy提交spark应用
weixin_29015051的博客
01-14 991
spark-submit的使用shell时时灵活性较低，livy作为spark提交的一种工具，是使用接口或者java客户端的方式提交，可以集成到web应用中1.客户端提交的方式核心代码LivyClient client = new LivyClientBuilder().setURI(new URI(livyUrl)).build();try {System.err.printf("Uploadi...
spark livy batch使用一
文报的博客
12-03 980
用python调用livy restfulAPI demo: import json, pprint, requests, textwrap import time, sys host = 'http://localhost:8998' headers = {'Content-Type': 'application/json'} batchs_url = host + '/batches' print(batchs_url) data = {'file': '自定义.jar' , 'cla
Apache Livy安装和在java中使用
04-07
Apache Livy是一个开源项目，它提供了一种RESTful接口，用于在Apache Spark集群上运行交互式和批处理作业。这个接口使得在Java或其他编程语言中使用Spark变得更加简单和方便。 安装 1. 安装Java和Scala Livy需要Java 8或更高版本和Scala 2.11.x或2.12.x。您可以从官方网站下载Java和Scala，也可以使用包管理器进行安装。 2. 下载和编译Livy源代码 您可以从Apache Livy的官方网站https://livy.apache.org/download/下载最新版本的源代码。下载后，解压缩文件并使用以下命令编译： ``` $ mvn clean package -DskipTests ``` 3. 配置Livy 在编译完成后，将生成一个目录livy-0.7.1-incubating-bin。在该目录中，找到conf目录并编辑livy.conf文件。在该文件中，您需要配置以下参数： ``` livy.server.port = 8998 livy.file.local-dir-whitelist = /tmp livy.spark.master = spark://<spark-master>:7077 ``` 其中，livy.server.port是Livy服务器的端口号，livy.file.local-dir-whitelist是本地目录的白名单，livy.spark.master是Spark master的URL。 4. 启动Livy 在配置完成后，使用以下命令启动Livy： ``` $ bin/livy-server ``` 在启动完成后，您可以使用http://localhost:8998/访问Livy的RESTful API。 使用 在Java中使用Livy，您需要使用Livy的Java客户端库。您可以在Maven中添加以下依赖项： ```xml <dependency> <groupId>org.apache.livy</groupId> <artifactId>livy-client-common</artifactId> <version>0.7.1-incubating</version> </dependency> <dependency> <groupId>org.apache.livy</groupId> <artifactId>livy-client-spark_2.11</artifactId> <version>0.7.1-incubating</version> </dependency> ``` 1. 创建LivyClient对象 使用以下代码创建一个LivyClient对象： ```java LivyClient client = new LivyClientBuilder() .setURI(new URI("http://localhost:8998")) .build(); ``` 其中，URI参数是Livy服务器的URL。 2. 提交Spark作业 使用以下代码提交一个Spark作业： ```java JavaSparkContext spark = new JavaSparkContext("spark://<spark-master>:7077", "MyApp"); List<Integer> data = Arrays.asList(1, 2, 3, 4, 5); JavaRDD<Integer> distData = spark.parallelize(data); int result = distData.reduce((a, b) -> a + b); ``` 其中，spark参数是Spark master的URL，data是一个包含整数的列表，distData是一个JavaRDD对象，result是reduce操作的结果。 使用以下代码将作业提交到Livy服务器： ```java JobHandle<Integer> handle = client.submit(new JavaSparkJob<>(MyApp.class.getName(), result)); ``` 其中，JavaSparkJob是一个用于包装Spark作业的类，MyApp是您的Spark作业的类名，result是作业的结果。 3. 获取作业结果 使用以下代码获取作业的结果： ```java int result = handle.get(); ``` 其中，handle是提交作业后返回的JobHandle对象，result是作业的结果。 4. 关闭LivyClient对象 使用以下代码关闭LivyClient对象： ```java client.stop(true); ``` 其中，true参数表示在关闭之前等待所有作业完成。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值