利用 livy 远程提交 spark作业

最新推荐文章于 2023-05-09 20:16:50 发布

原创

最新推荐文章于 2023-05-09 20:16:50 发布 · 9.4k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#spark #大数据 #livy

本文介绍了如何通过livy远程提交Spark作业，包括下载安装livy、配置环境变量、开启服务，以及详细阐述了使用REST API进行交互的步骤，如创建session、获取session信息、删除session、查询和获取statement详情等。

利用 livy 远程提交 spark作业

1. 下载，安装 livy

下载地址：http://livy.io/quickstart.html

下载之后，解压即可运行

2. 配置环境变量

export SPARK_HOME=/usr/lib/spark 
export HADOOP_CONF_DIR=/etc/hadoop/conf

`3.配置主机和端口（可跳过，直接用默认值）`

# What host address to start the server on. By default, Livy will bind to all network interfaces. （主机）
 livy.server.host = 0.0.0.0

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Smoozer

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Spark Livy 指南及livy部署访问实践

pop_xiaohao的专栏

05-05

3908

背景： Apache Spark 是一个比较流行的大数据框架、广泛运用于数据处理、数据分析、机器学习中，它提供了两种方式进行数据处理，一是交互式处理：比如用户使用spark-shell，编写交互式代码编译成spark作业提交到集群上去执行；二是批处理，通过spark-submit 提交打包好的spark 应用jar到集群中进行执行。这两种运行方式都需要安装spark客户端配置好yarn集群信息，并打通集群网络访问权限，这种方式存在增加client所在节点资源使用负担和故障发生的可能性，同时client节点

大数据学习（四）：Livy的安装配置及pyspark的会话执行

技术宅拯救世界

05-21

1923

一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。它提供了以下这些基本功能：提交Scala、Python或是R代码片段到远端的Spark集群上执行；提交Java、Scala、Python所编写的Spark作业到远端的Spark集群上执行；提交批处理应用在集群中运行。从Livy所提供的基本功能可以看到Livy涵...

2 条评论您还未登录，请先登录后发表或查看评论

spark系列-应用篇之通过livy提交Spark任务

litlit023的专栏

11-04

339

参考链接：https://blog.csdn.net/camel84/article/details/81990383

【Spark】通过livy2提交spark任务

hyj

10-27

1582

一、向livy2提交spark自带例子 [root@ambari1 Test]# curl -X POST --data '{"file": "/home/Test/spark-examples_2.11-2.2.0.2.6.3.0-235.jar", "className": "org.apache.spark.examples.SparkPi","args":["100"]}' -H "Content-Type: application/json" 192.168.xxx.xx3:8999/batc

spark提交

MOON

08-03

1181

这次主要讲一下spark的提交具体操作和流程。原来一直用，也没怎么深入查看，那么这次就来仔细看一下提交的学问。跟我们以前一样，我们以官网下手。这里我不在把英文贴上，直接进行。在spark的bin文件夹下的spark-submit脚本是用来提交应用的。它能够通过一个统一的接口来使用所有spark支持的集群管理器，所以我们不必单独配置每一个应用。如果你的代码依赖其他的项目，那么你需要与应用程序

Livy - 基于Apache Spark之上的REST服务

03-30

Livy是构建于Apache Spark之上的REST服务，它提供了安全、高可用、灵活的REST API使用户可以以交互式、批处理以及编程式API的方式操作Spark。本演讲将为大家介绍Livy的基本功能、高阶特性以及与其他类似框架的比较

Java中通过REST API使用Livy提交Spark作业

首先，从标题来看，“在Java中使用REST API在Kerberos和SSL中使用Livy提交Spark作业”明确指出了技术栈的核心组成：Java 作为客户端开发语言，REST API 作为通信协议，Livy 作为中间服务层，Spark 作为底层执行引擎...

掌握Apache Livy 0.7.1: Spark开发必备开源工具

开发者可以通过HTTP请求与Livy服务通信，提交Spark代码并获取结果。这种机制简化了用户与Spark集群交互的过程，使得数据科学家和开发者能够在多种编程语言环境中，比如Python, Scala, R等，通过简单的API调用执行...

Apache Kylin 3.0新特性：使用Livy优雅管理Spark任务

Apache Livy作为解决方案，它作为一个RESTful服务，提供了一个安全、可扩展的途径，使得用户可以通过网络远程提交Spark作业，降低了对Gateway节点的依赖。 Livy的核心特性包括： 1. **代码片段提交**：用户可以...

精选资源

apache-livy-0.7.1-incubating-bin.zip

12-09

Livy使得远程提交Spark作业、监控作业状态以及获取结果变得非常简单，极大地增强了Spark的可访问性和灵活性。在"apache-livy-0.7.1-incubating-bin.zip"这个压缩包中，包含了Livy的源代码及其编译后的可执行文件，...

【大数据】Spark开源REST服务--Apache Livy的安装和使用

如切如磋，如琢如磨，臻于至善。

03-27

1380

Livy是一个提供Rest接口和spark集群交互的服务。它可以提交Spark Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC客户端库

Livy：基于Apache Spark的REST服务

imgxr的博客

07-03

6303

作者简介：邵赛赛，Hortonworks技术专家，专注于开源大数据领域，Apache Spark和Livy的活跃贡献者。前Intel大数据团队成员，专注于Apache Hadoop和Spark等相关大数据平台的性能测试，调优以及改进。责编：郭芮（guorui@csdn.net），关注大数据领域。本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅2017年《程序...

大数据学习（五）：如何使用 Livy提交spark批量任务

技术宅拯救世界

05-21

6879

Livy是一个开源的REST 接口，用于与Spark进行交互，它同时支持提交执行代码段和完整的程序。 Livy封装了spark-submit并支持远端执行。启动服务器执行以下命令，启动livy服务器。 ./bin/livy-server 这里假设spark使用yarn模式，所以所有文件路径都默认位于HDFS中。如果是本地开发模式的话，直接使用本地文件即可（注意必须配置liv...

livy部署及应用

lehsyh的专栏

05-09

1364

Livy把spark交互式和批处理都搬到了web上，提供restful接口，Livy一方面接收并解析客户端提交的REST请求，转换成相应的操作，另一方面它管理着客户端所启动的spark集群Livy会为用户运行多个session，每个session就是一个常驻的spark context也可以成为一个spark集群。用户通过restful接口在对应的spark context执行代码，Livy服务端通过RPC协议与Spark集群进行通信。

Livy REST API使用教程

littlePYR的博客

10-21

2278

Livy概述用过Spark的朋友对Livy一定不陌生，Livy是Apache Spark下的一个REST服务，通过Livy，你只要可以发送Http请求，就可以提交Spark任务。Livy在很多Spark数据平台上都作为一个提交任务的重要工具，你可以不知道Livy是怎么工作的，但是你不能不知道Livy是如何使用的。这里我们重点介绍下如何使用Livy的REST API来提交Spark任务，当然首先你得对Spark submit有一定的了解，不然就先移步Spark submit wiki。 Livy交互式的任务

livy 集成kerberos

wang972779876的博客

04-29

1267

因为griffin需要安装livy组件的支持，所以需要安装livy提交spark任务。安装livy （1）下载apachelivy 下载地址：https://github.com/apache/incubator-livy/releases/tag/v0.7.0-incubating （2）解压unzip apache-livy-0.7.0-incubating-bin.zip （3）修改配置文件conf/livy-env.sh,加入hadoop_home,spark_home,Hadoop_..

Apache Livy 安装部署使用示例

Nice的博客

03-29

5758

Apache Livy 安装部署使用探索

浅谈Spark Livy

猪猪

03-08

5079

Spark Livy 什么是Livy Livy的特点 Livy的运作流程阐述 Livy的安装、启动、访问 Livy的使用 1. 什么是Livy livy是cloudera开发的通过REST来连接、管理spark的解决方案。涉及到一些角色： ①客户端：browser,app终端设备 ②Livy Server ③Livy Server获得用户的请求后，让后将job提交给spark 集群去执行。 ...