Beyond_F4的博客

插一句 ModuleNotFoundError: No module named 'google.cloud' pip3 install google-cloud-bigquery正文from impala.dbapi import connect使用impala连接hive失败，报错提示如下：ModuleNotFoundError: No module named 'impala.dbapi'解决办法：安装以下几个包： six bit_arra...

使用库：pyhdfs调用方法：copy_from_local异常现象如下图：异常原因分析：1、主机、端口、用户信息不正确造成；2、服务端口没有开启造成

公司最近业务用到了hadoop集群，为方便维护和迭代，选择了Python作为脚本语言，下面说一下如何使用Python连接hadoop集群，hadoop集群中有namenode和datanode，我们需要连接namenode我用的是Python3，和pyhdfs库（hdfs库也试过了，连不上，原因不明）import pyhdfsclient = pyhdfs.HdfsClient(host,use...

使用库：pyhdfs调用方法：pyhdfs.HdfsClient(ip,port,user).copy_from_local()异常现象如下图：原因分析：可以看出，连接成功，但是上传失败，造成这种现象的原因是我这里连接的是name节点，端口50070，当调用copy_from_local（）时，name节点会主动去连接data节点进行数据读写操作，而data节点端口50075没有开启，造成data...

最近经常需要操作hadoop集群进行文件读、写、上传、下载等这里总结一下使用方法：首先需要借助三方库pyhdfs创建一个hadoop连接对象hdfs_client = pyhdfs.HdfsClient(hdfs_ip,hdfs_port,hdfs_user)假设hadoop现有目录：/home/data/下有一个文件2018-06-28.out那么我们如何查看该目录下的文件呢？方法（类似于os）...