python系列之：基于paramiko和socks使用keytab登陆kerberos认证的HDFS

快乐骑行^_^

已于 2022-03-18 17:03:55 修改

阅读量1k

点赞数 1

分类专栏：大数据大数据平台二次开发文章标签： python kerberos paramiko socks

于 2022-02-16 11:27:40 首次发布

本文链接：https://blog.youkuaiyun.com/zhengzaifeidelushang/article/details/122959210

版权

大数据同时被 2 个专栏收录

551 篇文章 ¥49.90 ¥99.00

订阅专栏

大数据平台二次开发

103 篇文章 ¥19.90 ¥99.00

订阅专栏

本文介绍了如何利用Python的paramiko和PySocks模块，结合keytab文件进行kerberos认证，以登陆服务器并执行HDFS相关操作。详细步骤包括下载模块、理解kerberos认证命令、实现认证过程以及展示完整代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

python系列之：基于paramiko和socks使用keytab登陆kerberos认证的HDFS

一、下载PySocks模块和paramiko模块
二、基于paramiko和socks使用私钥和代理登陆服务器
三、kerberos认证命令详解
四、实现kerberos认证
五、认证完执行hdfs相关操作
六、完整详细的代码如下所示

一、下载PySocks模块和paramiko模块

pip3 install paramiko
pip3 install PySocks

二、基于paramiko和socks使用私钥和代理登陆服务器

#参数是私钥用户名和密钥
def exec_ssh_command(user, privateKeyPath,hostName):
	#需要设置代理的话添加下面代码，如果本地已经开启代理，注视这两行代码
    socks.set_default_proxy

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

快乐骑行^_^

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

基于Paramiko和Socks的Keytab登录Kerberos认证的HDFS大数据

2301_79366435的博客

08-19

191

在本文中，我们将介绍如何使用Python库Paramiko和Socks来实现基于Keytab的Kerberos认证登录HDFS大数据系统。Paramiko是一个用于SSH协议的Python库，而Socks是一个用于代理服务器的库。要开始使用Paramiko和Socks进行Keytab登录Kerberos认证的HDFS大数据，我们需要安装相应的库。通过以上步骤，我们成功地使用Paramiko和Socks库进行了基于Keytab的Kerberos认证登录HDFS大数据系统。替换为实际的Keytab文件路径，

Python实现Kerberos用户的增删改查

周源的专栏

11-23

2929

1、首先模拟python类似shell命令行操作的接口： python安装subprocess（本地）、paramiko（SSH远程） #-*- coding: UTF-8 -*- #!/usr/bin/python import os, sys import subprocess import paramiko import settings class RunCmd(object):

参与评论您还未登录，请先登录后发表或查看评论

0512-使用Python访问Kerberos环境下的HDFS

Hadoop_SC的博客

12-24

1819

1 文档编写目的随着Hadoop平台的普及和Python语言的流行，使用Python语言访问操作HDFS的需要，Python也提供了多个访问HDFS的依赖包（如：pyhdfs、HdfsCLI、pywhdfs），这些依赖包都是通过API的方式与HDFS进行交互。本篇文章Fayson主要介绍使用pywhdfs访问Kerberos环境下的HDFS。内容概述： 1.环境准备 2.Python2示例...

Python语言连接访问Kerberos认证下的HA HDFS

sx157559322的博客

07-03

2718

「目的描述」此篇文章目的是使用Python语言对启用Kerberos、High Availability的HDFS文件系统进行访问，主要介绍KerberosClient、pyarrow、hdfs3三种方式。「环境说明」Python运行环境为3.7.0集群环境为CDH6.2.1(已启用Kerberos认证)Namenode实例所在机器分别为cm111、cm112废话不多说,直接上代码1、HdfsCl...

Paramiko 完全指南

最新发布

漫谈网络

04-29

1474

Paramiko 是一个纯 Python 实现的 SSHv2 协议库。

基于kerberos认证的 python操作hdfs

Areigninhell的博客

09-23

1295

import json, os from hdfs.ext.kerberos import KerberosClient from krbcontext import krbcontext def _connect(self, host, port, sso_ticket=None): try: hdfs_url = 'http://' + host + ':' + port active_str = 'kinit -kt {0}

python2 连接hdfs 解决kerberos认证

qq_40771567的博客

11-04

950

首先安装包： pip2 install hdfs pip2 install requests_kerberos 然后代码认证 from hdfs.ext.kerberos import KerberosClient client = KerberosClient('http://xx.xx.xx.xx:50070', hostname_override="bj-gc3-arch-hadoop-namenode-01") client.list('/user') ...

kerberos体系单点登录

PK_666的博客

03-11

1003

一、单点登录单点登录是安全凭证在多个应用系统之间的传递或共享，一次认证就可以访问其授权的所有网络资源。二、kerberos 密钥分配中心（KDC）三个阶段：获得票据许可票据、获得服务许可票据、获得服务。 ...

HDFS集成Kerberos并使用Python调用

m0_67403073的博客

09-06

800

注意，主机名不要包含".“、“/”、”_"，否则启动hadoop无法识别。

Python对HDFS的一些基础操作

weixin_34405354的博客

09-13

117

链接:http://www.cnblogs.com/shoufengwei/p/5949791.html 转载于:https://www.cnblogs.com/CoolJayson/p/7513051.html

Kerberos自动登录「Kerberos AutoLogin」-crx插件

03-22

自动将您登录到BU Kerberos。 **在本地存储器中以明文存储密码，这意味着有权访问您的计算机的人可以恢复您的密码。** 厌倦了输入密码进入学生链接？该脚本会自动将您登录到BU Kerberos受保护的页面。保存你的密码一次，你全部设置。要添加功能，只需在这里提交一个拉请求：https：//github.com/sean-smith/autologin 支持语言:English

python3.6.5基于kerberos认证的hive和hdfs连接调用方式

09-16

主要介绍了python3.6.5基于kerberos认证的hive和hdfs连接调用方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

Kerberos单点登录实现过程

q98798611的博客

02-04

1131

转自：[url]http://dsw.iteye.com/blog/333351[/url] 最近公司在做单点登录的选型，看了看Kerberos的技术实现。感觉网上Kerberos的相关资料不多，自己做了总结和大家分享，因为是在选型阶段，没做太深入的学习，学习了Kerberos的单点登录过程。 Kerberos基本原理 [b]先转几个链接[/b] 1.关于理解Kerberos原理的...

Python与Hdfs的交互

数据科学和工程

03-19

1896

本文介绍PySpark程序和HDFS交互的三种方式（第三方包、subprocess、py4j），重点介绍（py4j）的方式。

python3.6 通过pyhdfs操作HDFS

穿裤衩的文叔的专栏

07-30

5452

一、安装 pip install pyhdfs 二、链接： import pyhdfs fs = pyhdfs.HdfsClient('192.168.***.**:50070') 三、操作： import pyhdfs class PackageHdfs(): def __init__(self): self.fs = pyhdfs.HdfsClient...

python子进程进行kinit认证_python经过Kerberos认证连接hdfs

weixin_39807352的博客

12-10

1083

python经过Kerberos认证连接hdfs1. Kerberos认证最近在工作中，需要将备份数据上传到hdfs上，在服务器上需要进行Kerberos认证。在Hadoop1.0.0或者CDH3 版本之前，是不存在安全认证的，hadoop集群默认所有节点都是可信任的。这导致恶意用户可以伪装成正常用户入侵集群，恶意提交任务。使用了Kerberos认证后，将认证的秘钥事先放在可靠的节点上，集群运行...

PySpark+HDFS+Kerberos

aidway的专栏

02-24

754

pyspark读取开了Kerberos的HDFS上的文件

Kerberos+LDAP+NFSv4 实现单点登录(续2)--一键安装

weixin_34097242的博客

05-16

489

Kerberos+LDAP+NFSv4 实现单点登录(续2)--一键安装 ( 附:LDAP简单认证登录 login4ldap-ver0.0.6.zip 源代码下载地址 http://u.163.com/NeMVmlIT 提取码: ObEubL7Y ) 上篇Kerberos+LDAP+NFSv4 实现单点登录(续1)链接地址http://lulinlin1.lofter.com/post/1cf...

Python使用paramiko实现安全FTP操作和密钥认证

资源摘要信息:"本资源主要介绍了在Python中如何利用`paramiko`库实现安全的FTP文件传输操作，并采用SSH密钥进行身份认证。以下是详细的步骤和相关知识点总结： ### 1. 生成SSH密钥对生成密钥对是实现基于密钥认证...