Sqoop1.99.7接入kerberos提交到yarn任务认证失效问题

最新推荐文章于 2024-06-19 01:10:44 发布
原创 最新推荐文章于 2024-06-19 01:10:44 发布 · 523 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种解决SQOOP在使用Kerberos认证时，因凭证有效期仅24小时而导致的任务提交失败的问题。通过在与YARN交互前重新登录并刷新凭证，确保了SQOOP任务的连续性和安全性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

问题：kerberos的keytabs凭证有效时间只有24h，sqoop server启动后过了24小时提交任务报认证过期提交失败。

原因：sqoop使用的jobClient是启动时创建的，并且每次submit,update或stop操作都没有刷新UGI。

具体代码位置是org.apache.sqoop.submission.mapreduce.MapreduceSubmissionEngine
在这里插入图片描述
在这里插入图片描述

解决方法：

在submit,stop,update添加代码
在这里插入图片描述
relogin方法：
在这里插入图片描述
这样就每次与yarn交互时都刷新了凭证

浅谈大数据领域数据仓库的数据集成
AI天才研究院
04-22 856
随着企业数字化进程加速，业务系统产生的结构化（关系型数据库）、半结构化（日志、JSON）、非结构化（文本、图像）数据呈指数级增长。这些数据分散存储于CRM、ERP、IoT传感器、第三方API等异构系统中，形成“数据孤岛”，导致企业无法全局分析业务规律。数据仓库（Data Warehouse, DW）作为支持决策分析的核心平台，其核心目标是将分散的、异构的数据整合为统一的、高可用的分析数据集。
6、大数据与Hadoop：核心技术与实践指南
最新发布
pytorch8learner的博客
07-06 39
本博客深入探讨了Hadoop在大数据处理中的核心技术与实践方法，涵盖Hadoop架构、存储与处理优化、YARN作业管理、调度策略、安全特性以及数据存储格式的选择与性能分析。通过实际案例演示了如何使用CDH进行WordCount操作，并对Hadoop生态系统中的重要项目进行了介绍。适用于希望深入了解Hadoop原理与应用的大数据开发者和系统架构师。
sqoop接入kerberos安全认证后，本地运行正常，但提交到yarn上连接hive报错： Unable to obtain password from user
热门推荐
周源的专栏
09-17 1万+
日志信息： 2018-09-17 11:31:30,774 INFO [OutputFormatLoader-consumer] com.chinacreator.sqoop.connector.hive.HiveExecutor: 连接hive失败java.io.IOException: Login failure for sqoop/139.bd@EXAMPLE.COM from keyta...
mysql kerberos_sqoop集成Kerberos
weixin_39616798的博客
02-07 308
创建密钥文件 /var/opt/app/keytab/zkcli.keyTab创建配置文件：/var/opt/app/keytab/gss-jaas.confcom.sun.security.jgss.initiate {com.sun.security.auth.module.Krb5LoginModule requireduseKeyTab=trueuseTicketCache=falsepr...
Sqoop1.99.7报错:AuthenticationException Message: Authentication failed, status: 500, message: Server..
我就是颜大帅阿的博客
03-20 999
Exception has occurred during processing commandException: org.apache.hadoop.security.authentication.client.AuthenticationException Message: Authentication failed, status: 500, message: Server Error ...
Sqoop2开启Kerberos安全模式
木木与呆呆的专栏
05-12 1435
Sqoop2开启Kerberos安全模式， 基于版本sqoop-1.99.7， 在已经安装好的sqoop2环境上配置kerberos。 1.安装规划 10.43.159.9 zdh-9 sqoop2krb/zdh1234 10.43.159.11 zdh-11 kerberos server 2.创建keytab 在zdh-11上，登陆root用户在/ro...
hive kerberos java_Kerberos身份验证错误 - Sqoop通过Hive从SQL导入HDFS
weixin_39922147的博客
03-04 347
我给出了以下Sqoop命令：sqoop import \--connect "jdbc:sqlserver://ServerName:1433;databaseName=TESTDB;integratedSecurity=true" \--driver com.microsoft.sqlserver.jdbc.SQLServerDriver \--table dbo.test_table \--u...
sqoop2（sqoop-1.99.7）的安装部署
sunnyJam的专栏
04-13 797
Sqoop 是一个开源工具，主要用于在Hadoop和传统的数据库(Mysql, Oracle,等）进行数据传递，可以将一个关系型数据库中的数据导入Hadoop 的HDFS中，也可以将HDFS中的数据导出到关系型数据库中。之前总结了sqoop1的部署安装，接下开对于hadoop-2.6.版本以上 sqoop1不支持，必须使用sqoop2,接下来总结一下sqoop2的部署和填坑 一、下载sqoop包...
CDH配置Kerberos和Sentry （超详细）
summer089089的博客
07-22 6153
1.安全之Kerberos安全认证 1 Kerberos概述 1.1 什么是Kerberos Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。 Kerberos不是k8s，Kubernetes简称k8s，是一个开源
从入门到精通 - Fayson带你玩转CDH
Hadoop_SC的博客
09-22 4154
Fayson保持每天推一篇文章，本文随之每天更新。 以下所有文章均为超链接，可以直接点击文章名跳转。 还没附上超链接的文章是还没上传的，会再后续更新后陆续补上 1.规划设计 1.1.on-premise部署规划 0001-《CDH网络要求(Lenovo参考架构)》 0062-《如何为Hadoop集群选择正确的硬件》 0158-《如何给Hadoop集群划分角色》 1.2.on private c...
安装笔记：hadoop+hbase+sqoop2+phoenix+kerberos
01-12
利用两台云主机（真实环境至少三台）安装hadoop+hbase+sqoop2+phoenix+kerberos的过程笔记，从伪分布式到kerberos认证。
sqoop安装详解以及sqoop介绍
07-04
sqoop安装详解以及sqoop内容介绍使用介绍 集群介绍 sqoop：是一个工具，主要用于导入导出，实现MySQL到Hadoop之间数据的转换 2、导入数据：从结构化数据（Mysql,oracle,db2,）导入到半结构化或非结构化hadoop中（HDFS、HIVE、HBASE） 3、导出数据：从haoop中将数据导出到关系数据库中MySql
sqoop import hbase by kerberos安全认证下
fanchw的专栏
07-16 612
2020-07-15 16:30:47,365 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Can't get Master Kerberos principal for use as renewer at org.apache.hadoop.mapreduce.security.TokenCache.obtainTokensForNamenodesIntern
Sqoop1 篇章
weixin_42728895的博客
08-25 336
Sqoop 原理 将导入或导出命令翻译成 mapreduce 程序来实现。 一、Mysql --》HDFS 1.全部导入 $ bin/sqoop import \ --connect jdbc:mysql://linux01:3306/company \ --username root \ --password 123456 \ --table staff \ --target-dir /user/company \ --delete-target-dir \ --num-mappers 1 \ --fie
kerberos mysql配置_CDH安装Kerberos （包含主从配置）
weixin_42153793的博客
02-01 487
很多企业CDH是没有集成kerberos，原因是kerberos部署后，服务使用起来变复杂，大部分只配置了sentry做权限管理；但真正的CDH多租户应该是 身份验证 + 权限管理。也就是(kerberos + sentry)接下来，我会图文介绍怎么安装这两个服务；在实施方案前，假设CDH已经运行正常；之前安装了sentry服务先停掉企业微信截图_20180606233117.png正确的顺序应该...
Sqoop原理与代码实例讲解
AI天才研究院
06-19 1058
Sqoop原理与代码实例讲解 1.背景介绍 在大数据时代,数据的存储和处理已经不再局限于单一的数据库系统。企业中的数据通常分布在多个异构系统中,如关系型数据库(RDBMS)、NoSQL数据库、大数据平台等。为了充分利用这些数据,需要将它们集中存储到一个统一的大数据平台中进行分析和处理。Apach
hadoop之kerberos权限配置（ranger基础上）（三）
weixin_40496191的博客
01-02 4707
kerberos+ranger+kerberos权限控制
Sqoop1.4.7使用指南
l42606525的博客
08-05 846
一、安装 sqoop的安装相对简单，只需选择对应的sqoop解压到安装目录即可，一般将sqoop安装到已经安装了mysql和hive的节点上。 解压到指定目录 设置sqoop环境变量 修改sqoop根目录/conf下的sqoop-env.sh文件，配置环境相关的参数。刚安装后需要复制 sqoop-env-template.sh，命名为sqoop-env.sh，因为此次sqoop安装后要实现关系型数据库跟 hadoop、hive和hbase的数据传输，因此在里面配置hadoop、h
【云原生】Sqoop on k8s 讲解与实战操作
匠人精神，持之以恒！
11-13 1552
Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具，结构化数据可以是MySQL、Oracle等RDBMS。Sqoop底层用MapReduce程序实现抽取、转换、加载，MapReduce天生的特性保证了并行化和高容错率，而且相比Kettle等传统ETL工具，任务跑在Hadoop集群上，减少了ETL服务器资源的使用情况。在特定场景下，抽取过程会有很大的性能提升。大数据Hadoop之——数据同步工具Sqoop【云原生】Hadoop HA on k8s 环境部署。
Apache Sqoop 1.99.7 用户与开发者指南
"Apache Sqoop 1.99.7 的英文文档，包含了管理员指南、用户指南、连接器和开发者指南等内容，旨在帮助用户高效地在结构化、半结构化和非结构化数据源之间转移数据。" Apache Sqoop 是一个用于高效地在不同数据源...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值