Kerberos对hadoop进行错误调测debug

最新推荐文章于 2024-09-22 01:40:45 发布
原创 最新推荐文章于 2024-09-22 01:40:45 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

先执行如下命令：

export HADOOP_OPTS="-Djava.net.preferIPv4Stack=true -Dlog.enable-console=true -Dsun.security.krb5.debug=true ${HADOOP_OPTS}"
export HADOOP_ROOT_LOGGER=DEBUG,console


再执行hadoop操作：

hadoop dfs -ls /


在控制台上即可看到相关的debug输出

【安全】Kerberos相关问题进行故障排除| 常见错误和解决方法
九师兄
01-07 3万+
1.概述 转载 为了学习：Kerberos相关问题进行故障排除| 常见错误和解决方法 2.总结 可以用来帮助诊断Kerberos相关问题的原因并实施解决方案的指南。 3. 症状 单击症状链接转到相应的疑难解答部分。 2.1 Kerberos tgt javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: F.
LINUX下的kerberos的安装配置
05-05
kerberos是由mit开发的提供网络认证的系统。使用kerberos自己提供的ktelnetd、krlogind、krshd来替换传统的telnetd、rlogind、rshd服务。
kerberos开启kdc的debug日志
世上本没有路，走的人多了，也便成了路
10-07 2319
kerberos开启kdc的debug日志
Kerberos打开debug日志
木木与呆呆的专栏
04-28 5088
在JVM的启动参数中加入如下配置，打开kerberos的debug开关： -Dsun.security.krb5.debug=true JVM启动后，kerberos的相关日志会打印到控制台中， 因为java中kerberos的日志是使用system.println打印的。 下面以hadoop开启kerberos的debug日志举例： /hadoop-2....
Kerberos认证问题的调试试验
web开发
10-10 583
Kerberos作为一种windows推荐的集成认证方式被广泛的应用，也有很多文章介绍Kerberos认证方式，这里通过一个Kerberos认证问题的调试试验来介绍一下Kerberos的认证流程以及相关的调试工具和方法。Kerberos认证流程 总的来说Kerberos是通过统一的认证服务器来对客户端进行认证，认证成功后客户端才能取得访问真正服务器的凭据。所以认证流程中涉及了三个方面如下图所示。...
JDK8 和 JDK17 下基于JDBC连接Kerberos认证的Hive(代码已测试通过)_module java
2401_87378123的博客
09-22 629
第二步通过设置principal 和 对应的keytab文件由于我们配置了打开了debug后,如果是正常情况,我们能观察到控制台会打印到krb5.conf相关内容信息出现问题优先根据debug日志查看,如果没有打印出krb5文件内容,去看看或者是如果出现了jdk8报错:Message stream modified (41)报错需要注释krb5.conf 的renew_lifetime属性,解决问题来源下面是krb5.conf参考下面出现的问题。
Hadoop安全基于Kerberos的SASL详解续
gezooo的专栏
05-08 1049
工作上由于需要给hive的metastore做逻辑元数据以及支持水平扩展，在waggle-dance的基础上增强了kerberos的功能，上线之后发现运行一天之后，请求失败，报GssException no tgt. waggle-dance在启动的时候，我调用过了 UserGroupInformation.loginFromKeyTab() 方法， 登录之后，会生成一个全局的loginUser, 后面所有调用UserGroupInformation的地方都会获取到登录过的用户。 登录成功之后，log
hadoop kerberos java客户端报错
upupfeng的博客
12-15 6239
背景 使用hadoop java客户端访问带有kerberos认证的hadoop集群时，出现了Exception encountered while connecting to the server : org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS]的错误。 输出日志 [WARN ] 2020-12-15 15:04:35,904 org.apache.h
hadoop集群中添加kerberos认证
Hijacker的专栏
09-27 4857
hadoop集群中添加kerberos认证 可以参照cloudera的官网方法：http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-Security-Guide/CDH4-Security-Guide.html 但本人的配置与其有所不同，更简单一点 本人使用的是hadoop_cloud
0445-如何为Spark应用启用Kerberos的Debug日志
Hadoop_SC的博客
02-16 635
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。 Fayson的github： https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1 文档编写目的 在CDH集群启用了Kerberos后，在执行Spark作业时难免会遇到由于Kerberos认证问题导致作业运行失败的时候，那我们需要针对Spark...
hadoop生态的kerberos认证系列1-zookeeper
tiki的博客
12-17 1694
hadoop生态的kerberos认证一、zookeeper1.准备工作2.配置2.1创建服务端用户2.2导出凭证：2.3修改zookeeper的配置文件2.4生成jaas.conf文件2.5创建client的priincipal并导出2.6配置client-jaas.conf文件3.验证zk的kerberos 一、zookeeper 1.准备工作 停掉hadoop集群； 安装好kerberos认证服务； 2.配置 节点名为node，本文以单节点为例说明，集群一般也差不多，只要配置文件统一、凭证区分开即可（
java调试Kerberos，输出登陆信息
gx304419380的博客
05-08 5038
在代码中添加： System.setProperty(“sun.security.krb5.debug”, “true”);
HDFS配置Kerberos认证
热门推荐
wulantian的专栏
12-26 4万+
HDFS配置Kerberos认证 2014.11.04 本文主要记录 CDH Hadoop 集群上配置 HDFS 集成 Kerberos 的过程，包括 Kerberos 的安装和 Hadoop 相关配置修改说明。 注意： 下面第一、二部分内容，摘抄自《Hadoop的kerberos的实践部署》，主要是为了对 Hadoop 的认证机制和 Kerberos 认证协议做个简单
解决Caused by: sun.security.krb5.KrbException: Cannot locate KDC问题
undefined的博客
11-11 1万+
背景：在开发hadoop底层相关管理服务的时候，在调试hive相关操作时出现，认证不通过，连接不是hive客户端 问题：解决Caused by: sun.security.krb5.KrbException: Cannot locate KDC问题 1、可以在你部署的机器 执行以下的命令进行校验 kinit -kt hive.keytab hive/nm-304-sa5212m4-bigdata-665@HADOOP.SANDBOX.CHINATELECOM.CN 2、如果提示命令未识别 需要安装krb.
MIT Kerberos 故障排除
逗点云
02-27 2540
1. 日志记录 大多数使用MIT krb5 1.9或更高版本可以使用跟踪日志记录提供有关内部krb5库操作的信息。要启用此功能，可以在运行程序之前将KRB5_TRACE环境变量设置为文件名。在大多数操作系统上，文件名/ dev / stdout可用于将跟踪日志记录输出发送到标准输出上。 如下示例，显示了调用kvno命令的跟踪日志记录输出： shell%envKRB5_TRA...
kerberos使用中遇到的问题
玩物
03-17 1万+
公司的kerberos认证使用了很久，但是最近新上的一批服务器无法直接免密登录，需要输入密码。此问题查询了将近一个礼拜后，终于得到解决。kerberos的系统组成有至少三部分。1.ServerA (kdc kerberos-admin(kerberos服务端)) 2.ServerB (client(kerberos user)，所有用户可以通过这个服务器从服务端索要凭据)。 3.ServerC(服
Tomcat：-Djava.net.preferIPv4Stack=true只支持ipv4
琦彦
01-10 3万+
IPv6和IPv4的区别 其实是IP地址数量不同。 IPv6，顾名思义，就是IP地址的第6版协议。 我们现在用的是IPv4，你的外网地址可能是这样一串数字：59.123.123.123。IPv4的地址是32位，总数有43亿个左右，还要减去内网专用的192、170地址段，就更少了。 而IPv6的地址是128位的，大概是43亿的4次方，地址极为丰富，几乎是取之不尽的，打个比方，地球上的每...
Kerberos 安装和管理
gyzhang
06-19 583
Kerberos 服务介绍https://docs.oracle.com/cd/E26926_01/html/E25889/intro-1.html#scrolltocKerberos 5安装和管理http://ju.outofmemory.cn/entry/95493kerberos安装和管理http://debugo.com/kerberos/kerberos认证原理---讲的非常细致，易懂h...
node-rdkafka,‘Kerberos.domain.name’:hadoop.hadoop.com
最新发布
07-26
- 错误处理：常见问题包括 keytab 路径错误、principal 不匹配或端口配置错误[^1]。 --- #### **关键注意事项** - **集群对齐**：确保 Kafka broker 已启用 SASL/GSSAPI，且 `advertised.listeners` 包含 `SASL_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值