CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2 等服务的webui

最新推荐文章于 2024-02-02 23:44:34 发布
最新推荐文章于 2024-02-02 23:44:34 发布
阅读量2.3k 收藏 4
点赞数
分类专栏： 大数据平台 数据安全 hive 文章标签： hdfs hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/MichaelLi916/article/details/127100991
版权
本文详细介绍了在CDH/CDP环境中，当开启kerberos安全后，如何解决无法访问HDFS、YARN和HIVESERVER2等服务WebUI的问题。提供了关闭服务端安全认证和配置Windows上的Kerberos客户端及Firefox浏览器的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2 等服务的webui

在CDH/CDP等大数据平台中，当开启kerberos安全后，如何访问HDFS/YARN/HIVESERVER2 等服务的webui呢？一起看下相关知识。

问题现象

在CDH/CDP等大数据平台中，当开启kerberos安全后，一些常见服务如 HDFS/YARN/HIVESERVER2 的webui， 无法访问，通过chrome浏览器访问时，报错 HTTP ERROR 403，Problem accessing xxx. Reason: java.lang.IllegalArgumentException。截图如下：

问题原因

大数据集群开启kerberos安全认证后，基于http协议访问常见服务如 hdfs/yarn/hiveserver2 等的webui时，这些服务在服务端大都有专门的参数可以控制是否使用启用 spnego（基于kerberos) 认证，当启用了 spnego 安全

最低0.47元/天 解锁文章
hiveserver2服务部署
weixin_43214096的博客
01-10 503
1、修改hadoop 集群所有节点的hdfs-site.xml文件，加入配置信息，启用webhdfs <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> 2、修改hadoop集群所有节点的core-site.xml文件加入配置信息，表示设置hadoop集群的代理 用户 <property> <name>hado
大数据问题排查系列-开启 kerberos 后无法访问 HIVESERVER2 等服务的 WEBUI
明哥的IT随笔
09-03 1176
大数据问题排查系列-开启 kerberos 后无法访问 HIVESERVER2 等服务的 WEBUI 1 前言 大家好，我是明哥！ 在博文“从技术视角看大数据行业的发展趋势”中，我们提到大数据的一个发展趋势是日益重视数据安全。在数据安全上，有四个方面的问题需要解决，即 3A + 1E： 3A 是指 authentication, authorization 和 audit 即认证，授权和审计，分别解决了用户身份校验，用户权限校验，事后审计监督的问题； 1E 指的是 encryption 即加密，包括对静态
Kerberos开启后Web UI无法查看问题
cz124560的博客
03-23 1225
谷歌浏览器 火狐浏览器都可以访问web ui界面了。 官方链接：Configuring Authentication with Kerberos 打开了Kerberos 会发现Ambari的很多Web UI都打不开了。 如下图： 提示要认证。 那我进就去认证下。 首先电脑上要安装kerberos （mac默认安装了哦） 把/etc/krb.cof文件拿到本地。 我这边在终端拉取的 sudo scp root@hadoop01:/etc/krb5.conf /etc/ 下载/etc/security/
Windows 开启 Kerberos 的火狐 Firefox 浏览器访问yarn、hdfs
qq_43688472的博客
11-01 1539
host1.com.cn,host2.com.cn,host3.com.cn 写具体主机名，以逗号分隔。2、在搜索栏内输入 network.negotiate-auth.trusted-uris。3、在搜索栏内输入 network.auth.use-sspi，将值设置为 false。1、打开浏览器，地址栏输入 about:config。4、本地登陆 Kerberos。.com.cn，.通配符写法。5、访问 WebUI。
解决配置完kerberos后，HDFS、YARN的web页面无法访问
不二先生的笔记
09-23 5767
HDFSWebUI浏览器认证 我们设置CDH支持kerberos后会出现下图所示的情况： 这是因为权限问题，按照下面的方式可完美解决 1.浏览器配置（Firefox） 1.打开火狐浏览器，在地址栏输入：about:config，进入设置页面。 2.搜索“network.negotiate-auth.trusted-uris”，修改值为自己的服务器主机名。 3搜索“network.auth.use-sspi”，双击将值变为false。 2安装kfw 1安装提...
大数据问题排查系列-大数据集群开启 kerberos 认证后 HIVE 作业执行失败
明哥的IT随笔
09-05 1067
大数据问题排查系列-大数据集群开启 kerberos 认证后 HIVE 作业执行失败 1 前言 大家好，我是明哥！ 本文是大数据问题排查系列 的 kerberos问题排查子序列博文之一，讲述大数据集群开启 kerberos 安全认证后，hive作业执行失败的根本原因，解决方法与背后的原理和机制。 以下是正文。 2 问题现象 大数据集群开启 kerberos 安全认证后，HIVE ON SPARK 作业执行失败。通过客户端 beeline 提交作业，报错 spark client 创建失败，其报错信息是： F
Hive Server2
qq_45275284的博客
03-26 467
概念 HiveServer2(HS2)是一个服务端接口，使远程客户端可以执行对Hive查询并返回结果。目前基于Thrift RPC的实现是HiveServer的改进版本，并支持多客户端并发和身份验证。 Hive与hiveServer的关系 hiveserver是hive与client端的交换终端，client通过hiveserver构建查询语句，访问hadoop，并把数据通过hiveserver返回到client端 hiveserver架构 hiveserver的核心是基于Thrift，Thrift负责h
CDH安装Oozie/Hue，以及其基本使用
王某的博客
05-11 6987
安装Oozie： 关于Oozie 安装Hue 关于Hue Hue的入门级使用 参考 安装Oozie： 1.登录数据库后： create database oozie default character set utf8; grant all privileges on oozie.* to ‘oozie’@’localhost’ identified b...
如何杜绝 spark history server ui 的未授权访问?
明哥的IT随笔
11-16 1627
如何杜绝 spark history server ui 的未授权访问?
在cdh平台上创建新用户
kergp9991的博客
04-10 5329
操作背景 cdh平台一般上使用root去安装平台，hadoop中权限是使用hdfs用户去操作的。所以常常会出现用户访问权限问题，如下图，权限没有配置好，即使使用root用户也会有权限问题。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZQp4c5gZ-1586510736131)(44A9CF2E0B514AA4AA07AB35C5CB5B23)] 尝试修改 添加...
解决Ambari启用Kerberos后HDFS/YARN/SPARK等页面无法打开问题
OMars的博客
08-23 3580
Ambari启用Kerberos认证后HDFS/YARN/SPARK等相关的组件的web页面都无访问了，提示要登录，401: Authorization required。 Ambari版本2.7.3.0 这个问题，可以通过两个办法解决 配置本机的kerberos认证，登录可以访问的user 配置组件服务的页面匿名访问 我本人使用的是Mac，自带了kerberos，但是使用前最好做一下版本更新 brew upgrade krb5 方法一 1.配置 可以将服务器krb5.conf配置放到本地默认目录下，
CDH6.3.2之Kerberos安全认证
ytp552200ytp的博客
11-12 2282
问题导读： 1、Kerberos认证原理是什么？ 2、Kerberos如何部署？ 3、CDH集群如何启用Kerberos？4、如何在Kerberos安全环境使用HFDS？ 01 PART Kerberos简介 Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、...
Hive从2.0版本开始,关于hiveserver2的web UI管理页面的配置和使用
热门推荐
helloxiaozhe的博客
10-12 1万+
关于hiveserver2的web UI管理页面的配置和使用； 使用编程语言报错，怎么查找原因呢？除了编程语言本身的报错之外，其实hive的log日志里面的信息更加方便，有利于寻找错误的真正的原因，有个界面形式的hive程序运行日志web页面将是十分高效的！ 没错的，Hive从2.0版本开始，为HiveServer2提供了一个简单的WEB UI界面，界面中可以直观的看到当前链接的会话、历史日志、配置参数以及度量信息。
HiveServer2配置
qq_42952861的博客
07-22 922
HiveServer2作用： 为Hive提供了一种允许客户端远程访问的服务 基于thrift协议，支持跨平台，跨编程语言对Hive访问 允许远程访问Hive 配置规划： 节点 HiveServer2 client linux121 linux122 √ linux123 √ 配置步骤： 1、修改集群上的 core-site.xml，增加以下内容： vi $HADOOP_HOME/etc/hadoop/core-site.xml <!-- HiveServer2
CDH6.1中启用Kerberos
yangbosos的博客
03-21 5771
Fayson介绍了《0491-如何在Redhat7.4安装CDH6.1》，这里我们基于这个环境开始安装Kerberos。Kerberos是一个用于安全认证第三方协议，并不是Hadoop专用，你也可以将其用于其他系统，它采用了传统的共享密钥的方式，实现了在网络环境不一定保证安全的环境下，client和server之间的通信，适用于client/server模型，由MIT开发和实现。而使用Cloude...
​（四）hive的搭建2
最新发布
java_linux_dev的博客
02-02 863
在（三）hive的搭建1中我们搭建好了hive环境，但是只能本地访问，在本节中配置Hive的访问方式。或者hive –service metastore & （后台方式启动metastore ）hive –service hiveserver2 （启动后窗口无法再进行操作）或hive –service hiveserver2 & （后台方式启动）– 指定 hiveserver2 连接的端口号 –>– 指定hiveserver2连接的host –>– 指定存储元数据要连接的地址 –>
解决Ambari启用Kerberos认证后NameNode UI 等页面无法打开问题
qq_33684569的博客
05-17 2006
Ambari启用Kerberos认证后NameNode UI， RESOURCEMANAGER ，Spark2 history server ui提示要登录， 如果Windows 和KDC是集成同一个Windows AD，那么可以通过AD账号登录打开页面，否则将提示：401:Authorization required。 这种情况可以配置页面匿名访问解决： --namenode ui 在HDFS -> Advanced core-site set hadoop.http.authentic...
Hadoop集成Kerberos安全服务器
qq_43541182的博客
03-16 1657
公司里要给Hadoop配置Kerberos，记录一下过程中遇到的问题。
开启 kerberos 后，HiveServer2 的 webui 没有内容的解决方案
houzhizhen的专栏
12-30 1157
开启 kerberos 后，HiveServer2 的 webui 没有内容。页面如下，可以打开，但是即便已经有会话，也有SQL执行，这里一直这样。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

明哥的IT随笔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值