livy 集成kerberos

最新推荐文章于 2022-08-11 17:58:44 发布
原创 最新推荐文章于 2022-08-11 17:58:44 发布 · 1.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #yarn #kerberos

因为griffin需要安装livy组件的支持，所以需要安装livy提交spark任务。

安装livy

（1）下载apache livy 下载地址：https://github.com/apache/incubator-livy/releases/tag/v0.7.0-incubating

（2）解压 unzip apache-livy-0.7.0-incubating-bin.zip

（3）修改配置文件conf/livy-env.sh,加入hadoop_home,spark_home,Hadoop_conf_dir,spark_conf_dir如下图所示（我的是CDH6.2的其他版本根据具体情况修改）

 

（4）修改conf/livy.conf

修改为yarn提交方式

最低0.47元/天 解锁文章
wang972779876
关注
Kerberos安全认证-连载10-Hive Kerberos 安全配置及访问
qq_32020645的博客
06-22 5013
技术连载系列，前面内容请参考前面连载9内容:​​​​​​​Hive底层数据存储在HDFS中，HQL执行默认会转换成MR执行在Yarn中，当HDFS配置了Kerberos安全认证时，只对HDFS进行认证是不够的，因为Hive作为数据仓库基础架构也需要访问HDFS上的数据。因此，为了确保整个大数据环境的安全性，Hive也需要配置Kerberos安全认证，这样可以控制对Hive和底层HDFS数据的访问权限，防止未经授权的访问和操作，确保数据的安全性。目前对HDFS进行了Kerberos安全认证后，在Hive。
griffin集成Livy kerberos.docx
07-01
EBay开源出来的apache griffin是一款数据质量检测工具，结合Livy、spark、hive、hdfs去使用的。但是开源的代码质量有些差，而且报错日志不友好，楼主踩了很多坑才部署好，实测可用，特将文档记录下来分享给大家。这个文档中包含了操作系统+Livy+HDFS的配置与集成
#Livy配置Kerberos,#调用Hadoop组件,#Java 实现Livy大数据调用,#java拉取hive数据同步到本地
SirHongGe的博客
04-28 1176
#Livy配置Kerberos,#调用Hadoop组件,#Java 实现Livy大数据调用,#java拉取hive数据同步到本地
93.Livy向Kerberos环境的CDH集群提交作业
大勇若怯任卷舒
01-14 352
93.1 演示环境介绍 集群未启用Kerberos CM和CDH版本：5.13.1 Livy版本：0.4 93.2 操作演示 将作业运行的jar包上传到HDFS目录 准备访问集群的keytab及集群的krb5.conf文件 krb5.conf配置文件，获取方式：文件在CDH集群中将KDC服务器上的/etc/目录 # Configuration snippets may be placed in this directory as well includedir /etc/krb5.conf.d
spark_livy_java_rest_api:在Java中使用REST API在Kerberos和SSL中使用Livy提交Spark作业
04-16
spark_livy_java_rest_api 在Java中使用REST API在Kerberos和SSL中使用Livy提交Spark作业 mvn exec：java -Dexec.mainClass =“ o9.sparklivy.poc.SparkYarnRestClient” mvn clean编译程序集：单个 java -cp target / spark_livy_api-1.0-SNAPSHOT-jar-with-dependencies.jar o9.sparklivy.poc.SparkYarnRestClient
cdh5.7.1 ＋kerberos ＋ livy server v0.2.0 安装测试步骤
我想静静
12-20 3929
Livy 是一个开源的 REST接口，负责和Apache Spark进行交互。 支持执行片段代码和程序在一个Spark context 里面，可以运行在locally 或者 Apache Hadoop Yarn 模式。 交付式 Scala、Python和R shell 批量提交 Scala、java、Python 多用户可以共享一个server（模拟支持） 可以在任何地方使用REST
griffin与Livy、hdfs、ES7 、kerberos的集成
黑幕Zz的博客
07-13 876
主要修改griffin源码：将依赖改为CDH的包，将其改为通过LDAP认证方式连接Hive server2，通过kerberos方式连接Hive metastore；改为适配ES 7的API调用；修改前端显示bug；Livy使用kerberos，使用客户端调用Livy API时认证的principal向yarn提交application
Griffin集成Livy Kerberos部署指南：解决开源问题与实战部署
4. **Livy的Kerberos集成**：在KDC节点上为Livy设置Kerberos凭据，并将keytab文件复制到配置文件夹，以实现安全的交互。 5. **Griffin配置**：修改application.properties、sparkProperties.json等核心配置文件，...
livy-0.7.1-incubating-bin-cdh6.2.1.zip
11-20
在CDH环境中，Livy可以集成Kerberos进行安全认证，确保只有授权的用户和服务能够访问。同时，Livy的日志和审计记录可以帮助管理员监控作业执行情况，排查问题。通过设置告警和阈值，可以及时发现并处理性能瓶颈和...
Livy-0.7.0 服务部署笔记
欲望以提升热忱 毅力以磨平高山
11-18 973
前言 Livy的官网实在是过于简陋，以下记录下部署的流程：Spark on yarn-cluster 一、Livy是什么？ 看这里:http://livy.incubator.apache.org/ 二、使用步骤 1.下载 wget https://mirror.bit.edu.cn/apache/incubator/livy/0.7.0-incubating/apache-livy-0.7.0-incubating-bin.zip . 2. conf文件配置 ### li...
114.Livy配置
大勇若怯任卷舒
08-11 654
代码】114.Livy配置。
记一次Spark Kerberos的故障解决
chncaesar的专栏
08-13 8207
有同事反馈，Livy Server启动的所有Spark AM失败。Livy启动的Spark AM默认会enableHiveSupport，且使用$LIVY_HOME/conf/livy.conf的如下配置作为spark.yarn.keytab和spark.yarn.kerberos。 livy.server.launch.kerberos.keytab livy.server.launch.k...
一文带你弄懂Livy——基于Apache Spark的REST服务
chnglv的博客
03-17 1632
背景 Apache Spark作为当前最为流行的开源大数据计算框架，广泛应用于数据处理和分析应用，它提供了两种方式来处理数据：一是交互式处理，比如用户使用spark-shell或是pyspark脚本启动Spark应用程序，伴随应用程序启动的同时Spark会在当前终端启动REPL(Read–Eval–Print Loop)来接收用户的代码输入，并将其编译成Spark作业提交到集群上去执行;二是批处...
Kerberos认证的kafka常见错误记录
Aspirin's Nest
10-14 1万+
前言 发现网上与kerberos有关报错信息少之又少，踩过的坑放在这里，希望可以帮到后来人。 报错信息总结 1. principal和keytab不匹配，这种问题，只需要在jaas文件中指定正确的账号密码即可 Caused by: javax.security.auth.login.LoginException: Could not login: the client is being ...
Kerberos学习（二）
weixin_34261415的博客
04-13 254
在实际开始安装配置Kerberos以前，我打算先说一下keytab。keytab，key table。上一篇的Principal里面，我们了解到了，Principal是kerberos的认证主体，相当于是你的账号。而keytab，可以粗浅的理解为SSH里面对应账号的私钥，而不同的是，SSH的私钥每个账号会有一个，而keytab是可以多个principal合并为一个的。原因是，keytab并不是作为...
Proxy Authentication Required解决
热门推荐
shuwu
03-30 1万+
症状 如果 Internet Security and Acceleration (ISA) Server 2000 是链接到上游 Web 代理服务器, Web 浏览器中可能会收到完整 HTML 页和随机身份验证提示。 如果下游 ISAServer 计算机配置需要集成验证并且如果上游 Web 代理服务器也配置需要代理验证可能会发生这些症状。 此外, 下游 ISAServer 计算机上路
服务器返回的各种HTTP状态码介绍
07-16 1148
1xx – 信息提示 “100″:Continue“101″:witchingProtocols 2xx – 成功 “200″:OK“201″:Created“202″:Accepted“203″:Non-AuthoritativeInformation“204″:NoContent“205″:ResetContent“206″:PartialContent 3xx – 重定向
挖坑:handoop2.6 开启kerberos(全流程学习记录)
weixin_34202952的博客
12-14 322
目录: 　　1.涉及插件简介 　　2.安装步骤 　　3.日志错误查看 　　 1.kerberos是什么东西 度娘指导: 　　Kerberos 是一种网络认证协议，其设计目标是通过密钥系统为 客户机 / 服务器 应用程序提供强大的认证服务。该认证过程的实现不依赖于主机操作系统的认证，无需基于主机地址的信任，不要求网络上所有主机的物理安全，并假定网络上传送的数据包可以被任意地读取、修改和插入数据。在以...
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值