HDFS（一）增删改查操作

最新推荐文章于 2024-04-14 00:11:56 发布

稻草人的肩膀

最新推荐文章于 2024-04-14 00:11:56 发布

阅读量1.4k

点赞数 2

分类专栏： Hadoop 文章标签： hdfs hadoop

本文链接：https://blog.youkuaiyun.com/qq_31316733/article/details/108447286

版权

本文介绍了如何进行HDFS的增删改查操作，包括Shell命令和Java代码实现。首先，详细讲述了启动Hadoop集群和通过Web界面查看HDFS系统的方法。接着，列举了Shell命令行中对HDFS的四种基本操作。最后，讨论了在Java环境下，如何配置Hadoop环境，创建Maven工程，并通过log4j2配置日志，实现PC与HDFS系统的交互。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

HDFS之增删改查操作

零、启动集群，Web查看hdfs系统

1.搭建过程：https://blog.youkuaiyun.com/qq_31316733/article/details/108386424

hadoop11	192.168.1.11
hadoop12	192.168.1.12
hadoop13	192.168.1.13

	hadoop11	hadoop12	hadoop13
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

2.Web端查看hdfs系统

namenode：http://hadoop11:9870 #查看hdfs文件系统

resourcemanager：http://hadoop12:8088

JobHistory：http://hadoop11:19888/jobhistory

一、Shell操作：linux本地–>hdfs系统

1.增

#剪切：linux-->hdfs
hadoop fs  -moveFromLocal  [linux路径下文件]  [hdfs系统路径]
#复制：linux-->hdfs
hadoop fs -copyFromLocal [linux路径下文件]  [hdfs系统路径]
hadoop fs -put [linux路径下文件]  [hdfs系统路径]
#追加内容到末尾：linux-->hdfs
hadoop fs -appendToFile [linux路径下文件]  [hdfs系统路径]
#复制：hdfs-->hdfs
hadoop fs -cp [hdfs系统路径] [hdfs系统路径]
#新建目录：hdfs
hadoop fs -mkdir -p [hdfs系统路径]
#从hdfs下载到linux本地：hdfs-->linux
hadoop fs -copyToLocal [hdfs系统路径] [linux系统路径]
hadoop fs -get [hdfs系统路径] [linux系统路径]
#3）从hdfs下载到linux本地多个文件，并执行合并操作
hadoop fs -getmerge [hdfs系统路径下多个文件] [linux系统路径]

最低0.47元/天解锁文章