大数据实验（二）HDFS API的使用（Python 3.7）

最新推荐文章于 2022-06-05 20:57:21 发布
最新推荐文章于 2022-06-05 20:57:21 发布
阅读量1.6k 收藏 15
点赞数 10
CC 4.0 BY-SA版权
分类专栏： 日常折腾 文章标签： hadoop hdfs python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/while0l1/article/details/103549174

前言

书本第六章的主要内容就是讲了HDFS的一些操作指令，还有非常简略的Java调用HDFS API代码的示例。虽然据说用Java的运行效率会高很多，可是我也没有系统地学过Java，而且看样子实际做起来比较繁琐，所以我还是选择了Python来实现HDFS API的调用。用Python特别好的地方就是后面的数据处理和可视化会方便很多，人生苦短，我用Python，哈哈哈哈哈哈哈哈。
其实用python2也可以，所以就可以省去安装python3的步骤了，不过好像要安装一下pip

HDFS API的使用（Python）

Python入门

Python其实入门还是很简单的，没有接触过的同学，可以去菜鸟教程上面快速入门，还有慕课上面嵩天老师的课也挺好。

本次所需工具

  1. Python安装包(官网下载速度很慢，可以从我这里下载(提取码: mxhv);
  2. VSCode(非必须)
  3. 正常启动的Hadoop集群

CentOS 7 安装Python 3.7

以下操作在Slave001上面执行，当然别的虚拟机应该也没问题

安装依赖

  • CentOS 7 本身缺少了一部分Python运行所需要的软件或者运行库，在root用户下执行以下命令安装
yum install gcc openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel libffi-devel tk-devel wget curl-devel ibffi-devel

编译和安装Python

还是在root用户下执行这些操作

  • 首先将下载好的Python安装包上传到Slave001
  • 解压（注意路径） tar -zxvf Python-3.7.0.tgz
  • 进入解压后的文件夹 cd Python-3.7.0, 编译./configure
  • 最后安装make && make install，这一步要好久好久好久好久
  • 为安装好的Python3和pip3创建软链接（可以理解为快捷方式）
ln -s /usr/local/bin/pip3 /usr/bin/pip3
ln -s /usr/local/bin/python3 /usr/bin/python3
  • 检查是否安装成功
pip3 -V

python3

输出结果如图：
在这里插入图片描述
输入exit()退出

修改pip源和安装库

切换回hadoop用户
pip是一个专门用来管理Python库的工具，可以安装删除库之类的。由于pip默认的源是国外的，下载库时的速度会很慢，所以我们把它修改为国内的源，这里我用的是阿里的源：

  • 切换到/home/hadoop目录，创建.pip/文件夹
cd ~/ && mkdir .pip
  • 创建pip.conf文件
vi .pip/pip.conf

添加以下内容

[global]
timeout = 6000
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
truste
最低0.47元/天 解锁文章
使用python监控HDFS文件的增量【优化中】
十八闲客的博客,专注于大数据运维
08-04 308
3.2删除文件记录 hdfs_delete_file_record.py。3.4文件路径的天监控 hdfs_path_Monitor_day.py。3.3文件路径的小时监控 hdfs_path_Monitor.py。3、每天计算文件大小，参考：hdfs_path_Monitor_day.py。3.2删除文件记录 hdfs_delete_file_record.py。3.4文件路径的天监控 hdfs_path_Monitor_day.py。3.3文件路径的小时监控 hdfs_path_Monitor.py。
基于大数据的新闻推荐分析
AI天才研究院
12-09 428
第一部分：基于大数据的新闻推荐分析概述 1.1 大数据与新闻推荐的关系 在互联网时代，新闻推荐系统已经成为各大新闻平台吸引和留住用户的关键技术。大数据技术作为一种重要的信息技术，与新闻推荐系统有着密切的联系。本节将首先介绍大数据的概念与特点，然后分析大数据在新闻推荐中
python文件hadoop_Python API 操作Hadoop hdfs详解
weixin_39717692的博客
12-01 441
1：安装由于是windows环境(linux其实也一样)，只要有pip或者setup_install安装起来都是很方便的>pip install hdfs2：Client——创建集群连接> from hdfs import *> client = Client("http://s100:50070")其他参数说明：classhdfs.client.Client(url, root...
Python调用HDFS的API
Bulut0907
03-22 918
目录1. Python调用HDFS的API 1. Python调用HDFS的API 安装依赖包 [root@bigdata001 ~]# [root@bigdata001 ~]# pip3 install pyhdfs [root@bigdata001 ~]#
python操作hdfs_Python | API操作HDFS
weixin_39747755的博客
12-10 340
电脑环境中必须先安装有python3版本，后续才能继续。1.安装依赖包pip install hdfs2.连接# 连接hdfs服务from hdfs import InsecureClientclient = InsecureClient('http://192.168.222.118:50070', user='root')或者# from hdfs import *# Client语法规则，详...
HDFSjava API实验
weixin_30408739的博客
04-25 191
package com.gw;import java.io.IOException;import java.io.InputStream;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputS...
大数据技术基础笔记3 分布式文件系统HDFS
Lora青蛙的博客
05-10 1828
文章目录3.1 分布式文件系统3.2 HDFS简介3.3 HDFS相关概念3.4 HDFS体系结构 • 3.1 分布式文件系统 • 3.2 HDFS简介 • 3.3 HDFS相关概念 • 3.4 HDFS体系结构 • 3.5 HDFS存储原理 • 3.6 HDFS数据读写过程 • 3.7 HDFS编程实践 3.1 分布式文件系统 计算机集群结构 • 分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。 • 与之前使用多个处理器和专用高级硬件的并行化处理装置不同的是，目前的分布
Python+Flask+HDFS云盘系统：完整部署与源码解析
资源摘要信息:"Python优秀项目 基于Flask+HDFS的云盘系统源码+部署文档+数据资料.zip" 知识点详细说明： 1. 项目技术栈 本项目主要采用Python语言，并结合Flask框架和Hadoop分布式文件系统（HDFS）来构建一个云盘...
HDFS 的 API 案例实操
微信公众号: 后端码匠
04-26 238
package cn.com.codingce; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.LocatedFileStatus; import org.apac
Python API 操作Hadoop hdfs详解
01-20
http://pyhdfs.readthedocs.io/en/latest/ 1：安装 由于是windows环境（linux其实也一样），只要有pip或者setup_install安装起来都是很方便的 >pip install hdfs 2：Client——创建集群连接 > from hdfs import * > client = Client(“http://s100:50070”) 其他参数说明： classhdfs.client.Client(url, root=None, proxy=None, timeout=None, session=None) url：ip：端
python解析hdfs文件和实现方式
11-24
python解析hdfs文件内容生成本地文件、及相关插件包安装实现方式
如何在python中用HDFS文件系统实现高效存储
06-15
如何在python中用HDFS文件系统实现高效存储，A File System for Supercomputing and Lay-Programming。
HDFS的API案例实操
LemonTreeWN的博客
06-10 220
HDFS文件上传（测试参数优先级）
python hdfs,通过 Python 使用 HDFS API 读取文件
weixin_42365490的博客
03-25 941
通过 Python 使用 HDFS API 读取文件Use the HDFS API to read files in Python03/23/2020本文内容有时你可能想直接读取文件而不使用第三方库。There may be times when you want to read files directly without using third party libraries. 当你的常规存...
Python操作hdfs
Haiwi-Song
03-05 2649
下面代码中的hosts为hdfs中的namenode节点，NameNode节点查看方法见学习笔记之Hdfs的Ha高可用原理 snakebite 通过rpc方式操作hdfs github：https://github.com/spotify/snakebite 文档：https://snakebite.readthedocs.io/en/latest/client.html #coding=u...
Hadoop:HDFS API二次开发实验
kkill_youokk_的博客
06-06 841
1.HDFS的读操作 在1号机中命令行： su 输入密码 启动hdfs集群 start-dfs.sh 回到Client端： 创建一个文件 su 输入密码 vi /root/words.txt 输入： hello world this is a test file for learning 将文件上传到hdfs服务器的根目录： hdfs dfs -put /root/words.txt / 查看文件是否上传成功： hdfs dfs -ls / 查看文件内容： hdfs dfs -cat /word
python开发HDFS
lingyu666hapy的专栏
06-05 1176
我们的目标是大数据算法平台，我们在处理数据，训练模型后，部分数据需要存在hdfs，那么我们就可以直接通过python 接口把数据放在hdfs上。 Python hdfs包_程序模块 - PyPI - Python中文网安装 安装过程存在问题 cannot import name 'SCHEME_KEYS' 重新安装pip即可 使用方法 hdfscli模式 Quickstart — HdfsCLI 2.5.8 documentation新增配置， vim ~/.hdfscli.cfg
大数据实验二HDFS
最新发布
12-29
### 大数据实验二 HDFS教程 #### 实验目标 在Linux环境中编写读取和写入HDFS文件的代码，使用`jar`命令打包代码，在master服务器上运行HDFS读写程序。此外，还将在Windows上安装Eclipse Hadoop插件，并在Eclipse环境中编写读取和写入HDFS文件的代码，最后利用Xftp工具将实验电脑上的文件上传至master服务器。 #### 准备工作 为了确保能够顺利执行这些操作，需要先确认已正确配置Java环境以及Hadoop集群设置。对于任何涉及路径错误的问题，比如遇到`Wrong FS:hdfs://localhost:9000/user/hadoop/input.txt, excepted: file:///`这样的提示时，应检查当前使用的文件系统URI是否匹配实际需求[^4]。 #### 编码实现 以下是用于向HDFS写入文件的一个简单Java类示例： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class WriteToHDFS { public static void main(String[] args) throws Exception{ Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path srcPath = new Path("/local/path/to/file"); // 替换为本地源文件路径 Path dstPath = new Path("hdfs://namenode:8020/destination/path/in/HDFS"); // 替换为目标HDFS路径 fs.copyFromLocalFile(srcPath, dstPath); System.out.println("成功复制到HDFS！"); fs.close(); } } ``` 编译并打包上述代码之后，可以通过如下命令将其提交给Hadoop集群来执行： ```bash $ hadoop jar your_program.jar com.yourpackage.WriteToHDFS /input/local/filepath /output/hdfspath ``` 同样地，可以从HDFS下载文件到本地系统的另一个例子如下所示： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class ReadFromHDFS { public static void main(String[] args)throws Exception{ Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path hdfsSrcPath = new Path("hdfs://namenode:8020/source/path/in/HDFS"); Path localDstPath = new Path("/local/path/to/save"); fs.copyToLocalFile(hdfsSrcPath, localDstPath); System.out.println("成功从HDFS下载！"); fs.close(); } } ``` 需要注意的是，当涉及到跨平台开发（如在Windows下创建项目），可以考虑借助IDE的支持简化流程。例如，在Windows操作系统中安装Eclipse IDE及其对应的Hadoop插件后，可以直接在此集成开发环境中完成项目的构建与测试工作。 #### 文件传输 一旦完成了代码编写与调试阶段的工作，则可通过SFTP客户端软件（如WinSCP或FileZilla）或者专门针对SSH协议设计的数据传输工具（如Xftp）把最终版本的应用程序包发送到远程主机上去进一步部署和验证其功能表现。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值