python2 连接hdfs 解决kerberos认证

最新推荐文章于 2024-03-19 15:01:36 发布

原创最新推荐文章于 2024-03-19 15:01:36 发布 · 985 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs #python #hadoop

python 同时被 2 个专栏收录

88 篇文章

订阅专栏

hadoop

8 篇文章

订阅专栏

本文介绍了如何使用Python进行HDFS的Kerberos认证过程。首先通过安装必要的Python包如hdfs和requests_kerberos来准备环境。接着展示了具体的Python代码实现，包括创建KerberosClient实例并使用它列出HDFS上的用户目录。

首先安装包：

pip2 install hdfs

pip2 install requests_kerberos

然后代码认证

from hdfs.ext.kerberos import KerberosClient
client = KerberosClient('http://xx.xx.xx.xx:50070', hostname_override="bj-gc3-arch-hadoop-namenode-01")  
client.list('/user')

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小菜菜1223

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

python系列之：基于paramiko和socks使用keytab登陆kerberos认证的HDFS

zhengzaifeidelushang的博客

02-16

1052

python系列之：登陆kerberos认证的HDFS一、基于paramiko使用私钥和代理登陆服务器二、kerberos认证命令详解三、实现kerberos认证四、认证完执行hdfs相关操作五、完整详细的代码如下所示一、基于paramiko使用私钥和代理登陆服务器 #参数是私钥用户名和密钥 def exec_ssh_command(user, privateKeyPath,hostName): #需要设置代理的话添加下面代码，如果本地已经开启代理，注视这两行代码 socks.set_defau

python3.6.5基于kerberos认证的hdfs,hive连接调用（含基础环境配置）

u012133034的博客

09-10

4144

1需要准备的环境 yum包（需要先装yum包，再装python包，不然会有问题） yum install openldap-clients -y yum install krb5-workstation krb5-libs -y yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64 yum...

参与评论您还未登录，请先登录后发表或查看评论

Python语言连接访问Kerberos认证下的HA HDFS

sx157559322的博客

07-03

3026

「目的描述」此篇文章目的是使用Python语言对启用Kerberos、High Availability的HDFS文件系统进行访问，主要介绍KerberosClient、pyarrow、hdfs3三种方式。「环境说明」Python运行环境为3.7.0集群环境为CDH6.2.1(已启用Kerberos认证)Namenode实例所在机器分别为cm111、cm112废话不多说,直接上代码1、HdfsCl...

HDFS集成Kerberos并使用Python调用

m0_67403073的博客

09-06

843

注意，主机名不要包含".“、“/”、”_"，否则启动hadoop无法识别。

基于kerberos认证的 python操作hdfs

Areigninhell的博客

09-23

1352

import json, os from hdfs.ext.kerberos import KerberosClient from krbcontext import krbcontext def _connect(self, host, port, sso_ticket=None): try: hdfs_url = 'http://' + host + ':' + port active_str = 'kinit -kt {0}

0512-使用Python访问Kerberos环境下的HDFS

Hadoop_SC的博客

12-24

1864

1 文档编写目的随着Hadoop平台的普及和Python语言的流行，使用Python语言访问操作HDFS的需要，Python也提供了多个访问HDFS的依赖包（如：pyhdfs、HdfsCLI、pywhdfs），这些依赖包都是通过API的方式与HDFS进行交互。本篇文章Fayson主要介绍使用pywhdfs访问Kerberos环境下的HDFS。内容概述： 1.环境准备 2.Python2示例...

python3.6.5基于kerberos认证的hive和hdfs连接调用方式

09-16

在本文中，我们将深入探讨如何使用Python 3.6.5版本通过Kerberos认证来连接Hive和HDFS。Kerberos是一种广泛使用的网络身份验证协议，它为不安全的网络环境提供了安全的身份验证机制。它依赖于共享密钥加密来确保通信...

Windows 环境 python读需kerberos认证的hdfs

m0_37766751的博客

01-04

2204

Windows 环境 python读需kerberos认证的hdfs 不喜欢废话，直接先上结论： Windows环境下python读kerberos认证的hdfs不支持，即使用anaconda中的也不行，因为再撸代码过程中，必须引用krbcontext包来认证，krbcontext提供了一个kerberos上下文，可以将代码放入其中，其中需要凭据缓存中的有效票证。但是krbcontext包中的引用包pwd不支持Windows环境，pyspark也不能绕不开krbcontext包。不废话直接上官方例子：

python子进程进行kinit认证_python经过Kerberos认证连接hdfs

weixin_39807352的博客

12-10

1134

python经过Kerberos认证连接hdfs1. Kerberos认证最近在工作中，需要将备份数据上传到hdfs上，在服务器上需要进行Kerberos认证。在Hadoop1.0.0或者CDH3 版本之前，是不存在安全认证的，hadoop集群默认所有节点都是可信任的。这导致恶意用户可以伪装成正常用户入侵集群，恶意提交任务。使用了Kerberos认证后，将认证的秘钥事先放在可靠的节点上，集群运行...

Python对HDFS的一些基础操作

weixin_34405354的博客

09-13

131

链接:http://www.cnblogs.com/shoufengwei/p/5949791.html 转载于:https://www.cnblogs.com/CoolJayson/p/7513051.html

python 连接hive，kerbos 认证

lb521200200的专栏

01-11

2084

python hive

Python实现Kerberos用户的增删改查

周源的专栏

11-23

2953

1、首先模拟python类似shell命令行操作的接口： python安装subprocess（本地）、paramiko（SSH远程） #-*- coding: UTF-8 -*- #!/usr/bin/python import os, sys import subprocess import paramiko import settings class RunCmd(object):

Python与Hdfs的交互

数据科学和工程

03-19

2083

本文介绍PySpark程序和HDFS交互的三种方式（第三方包、subprocess、py4j），重点介绍（py4j）的方式。

python3.6 通过pyhdfs操作HDFS

穿裤衩的文叔的专栏

07-30

5479

一、安装 pip install pyhdfs 二、链接： import pyhdfs fs = pyhdfs.HdfsClient('192.168.***.**:50070') 三、操作： import pyhdfs class PackageHdfs(): def __init__(self): self.fs = pyhdfs.HdfsClient...

python连接带kerberos认证的kafka

sansan_ge的博客

12-28

2870

python连接带kerberos认证的kafka

python hdfs远程连接以及上传文件，读取文件内容，删除文件

水w的博客

11-17

5686

python hdfs远程连接以及上传，读取，删除文件

kerberos认证python_python confluent kafka客户端配置kerberos认证

weixin_42505477的博客

02-01

587

kafka的认证方式一般有如下3种：1.SASL/GSSAPI 从版本0.9.0.0开始支持2.SASL/PLAIN 从版本0.10.0.0开始支持3.SASL/SCRAM-SHA-256 以及 SASL/SCRAM-SHA-512 从版本0.10.2.0开始支持其中第一种SASL/GSSAPI的认证就是kerberos认证，对于java来说有原生的支持，但是对于python来说配...

0500-使用Python2访问Kerberos环境下的Kafka

Hadoop_SC的博客

12-30

505

1文档编写目的 Kafka支持多种客户端语言（C/C++、Go、Java、JMS、.NET、Python）。Fayson在前面多篇文章介绍了Java访问Kerberos和非Kerberos环境下的Kafka，参考《如何使用Java连接Kerberos的Kafka》。本篇文章Fayson主要介绍使用Python2访问Kerberos环境下的Kafka。在学习本篇文章内容前你还需要知道《如何通过Clo...

HIVE或者HDFS通过kerberos认证，有什么客户端工具可以上