2021年 全网最细大数据学习笔记（四）：Hadoop 之 HDFS的基本使用

最新推荐文章于 2025-02-09 10:15:00 发布
最新推荐文章于 2025-02-09 10:15:00 发布
阅读量6k 收藏 128
点赞数 26
分类专栏： 大数据开发 文章标签： linux java 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xw1680/article/details/115555808
版权
这篇博客详细介绍了如何使用Hadoop HDFS命令行进行文件系统操作，包括创建与查看目录、文件复制与删除、查看文件内容等。同时，讲解了Java操作HDFS的前置工作和示例代码，包括配置环境、处理权限问题及解决警告信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

一、学前必备知识

  1. 2021年 全网最细大数据学习笔记（一）：初识 Hadoop
  2. 2021年 全网最细大数据学习笔记（二）：Hadoop 伪分布式安装
  3. 2021年 全网最细大数据学习笔记（三）：Hadoop 集群的搭建与配置

二、Hadoop HDFS 命令

1、HDFS 常用命令总览

可以利用 HDFS 命令对 HDFS 进行操作。HDFS 有很多用户接口，其中命令行是最基本的，也是所有开发者必须熟悉的。所有命令行均由 bin/hadoop 脚本引发，不指定参数运行 Hadoop 脚本将显示所有命令的描述。若要完整了解 Hadoop 命令，可输入 hadoop fs -help 即可查看所有命令的帮助文件。HDFS 命令的格式如下：


                

                
                
        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        


    


                



	

		

			

				
					
2021年 全网最细大数据学习笔记（一）：初识 Hadoop

				
			

			

				

					Amo Xiang的博客
				

				

					04-04
					
					4万+
					
				

			

		

		

			
				
文章目录一、大数据1、大数据的定义2、大数据的特点3、大数据行业应用4、Hadoop 与大数据5、其他大数据处理平台6、大数据人才三、
一、大数据
随着近来计算机技术和互联网的发展，大数据 这个名词越来越多地进入到我们的视野中，大数据的快速发展也无时刻影响着我们的生活。
1、大数据的定义
大数据从字面来理解就是 大量的数据。日常生活离不开数据，可以说每时每刻都在产生着数据。例如，一分钟可以做些什么事呢？在日常生活中，一分钟可能连一页书都看不完。但是一分钟内产生的数据却是庞大的。据统计，在一分钟内，YouTu

			
		

	



                

            
              



	

		

			

				
					
2021年 全网最细大数据学习笔记（六）：Hadoop 之 HDFS 进程详解

				
			

			

				

					Amo Xiang的博客
				

				

					06-18
					
					1447
					
				

			

		

		

			
				
文章目录一、学前必备知识二、HDFS 概述三、HDFS 应用场景四、HDFS 的架构五、HDFS 的副本机制六、HDFS 的安全模式七、HDFS 的数据读写流程7.1 HDFS 写数据流程7.2 HDFS 读数据流程八、HDFS 的回收站九、NameNode、HDFS 的元数据辅助管理详解十、HDFS 的高可用和高扩展机制10.1 高可用10.2 高扩展机制
一、学前必备知识

2021年 全网最细大数据学习笔记（一）：初识 Hadoop
2021年 全网最细大数据学习笔记（二）：Hadoop 伪分布式安装

			
		

	



              


  
              

                


	

		

			

				
					
Hadoop之HDFS的使用

				
			

			

				

					郭龙飞的学习博客
				

				

					02-20
					
					2158
					
				

			

		

		

			
				
目录

HDFS介绍
HDFS基础操作
Java操作HDFS

HDFS介绍

HDFS 是一种允许文件通过网络在多台主机上分享的文件系统，可以让多台机器上的多个用户分享文件和存储空间。
分布式文件管理系统有很多，HDFS 只是其中一种实现
注意：HDFS 不适合存储小文件（几KB或几M的小文件）

HDFS基础操作


操作格式
hdfs dfs -xxx schema: // authority / path
-xxx : 命令（读、写、创建、查看等）
schema ：hdfs
authority ：地

			
		

	





	

		

			

				
					
Hadoop HDFS 使用教程

				
			

			

				

					gitblog_00069的博客
				

				

					08-07
					
					432
					
				

			

		

		

			
				
Hadoop HDFS 使用教程
 hadoop-hdfsMirror of Apache Hadoop HDFS项目地址:https://gitcode.com/gh_mirrors/had/hadoop-hdfs 项目的目录结构及介绍
Hadoop HDFS 的目录结构遵循标准的 Maven 项目布局，主要包含以下几个关键目录：

src: 源代码目录，包含 Java 源文件和其他资源文件。
...

			
		

	



		

			
		



	

		

			

				
					
HDFS常用命令整理

					
最新发布

				
			

			

				

					你爱的程序员的博客
				

				

					02-09
					
					1547
					
				

			

		

		

			
				
查看文件前两行查看文件后两行查看文件一共有几行。

			
		

	





	

		

			

				
					
Hadoop入门系列(四)  HDFS的使用与编程

				
			

			

				

					Weary_PJ的博客
				

				

					07-29
					
					771
					
				

			

		

		

			
				
Hadoop入门系列(三) HDFS的使用与编程
内容

使用Hadoop Shell命令操作hdfs文件系统，熟悉分布式文件系统及操作命令。
配置Maven及使用Maven构建的Hadoop工程项目。
使用Hadoop的JAVA api操作hdfs文件系统。


...

			
		

	





	

		

			

				
					
Hadoop入门学习笔记——三、使用HDFS文件系统

				
			

			

				

					faith306
				

				

					12-23
					
					2158
					
				

			

		

		

			
				
nfs.exports.allowed.hosts配置项的值为192.168.88.1 rw，表示NFS允许连接的客户端的IP和权限，rw表示具有读和写的权限，IP部分也可以使用*表示所有IP均可连接（这里的192.168.88.1地址是本地电脑在虚拟机网络中的IP地址，如果这里不是虚拟机，而是真实服务器，则需要使用本机对应的公网IP或局域网IP），同时如果有多个电脑需要连接，也可以写成192.168.88.1 rw;dfs.replication属性用于配置数据块的默认副本数量，该配置默认为3。

			
		

	





	

		

			

				
					
Hadoop HDFS操作指南

				
			

			

				

					攻城老湿的博客
				

				

					07-03
					
					504
					
				

			

		

		

			
				
1 HDFS 组成架构




image-20220703192933033.png


NameNode(NN)

管理HDFS的名称空间
配置副本策略
管理数据块(Block)映射信息
处理客户端读写请求


DataNode(DN)

存储实际的数据块
执行数据块的读写操作


Client(客户端)

文件切分，文件上传HDFS时，Client将文件切分成一个个Block，然后进行上传
...

			
		

	





	

		

			

				
					
2021年 全网最细大数据学习笔记（二）：Hadoop 伪分布式安装

				
			

			

				

					Amo Xiang的博客
				

				

					04-05
					
					5903
					
				

			

		

		

			
				
文章目录一、Linux 操作系统的安装二、在 Ubuntu 20.04.2.0 中 进行 Hadoop 伪分布式安装1、Ubuntu 20.04.2.0 安装 jdk2、配置 SSH 无密码登录3、Hadoop 的下载与安装4、Hadoop 环境配置5、启动与关闭 Hadoop6、查看 Hadoop 的基本信息6.1、查看 HDFS Web 界面6.2、查看 YARN Web 界面三、在 Centos7 中 进行 Hadoop 伪分布式安装
一、Linux 操作系统的安装

2021年 全网最细 Windo

			
		

	





	

		

			

				
					
2021年 全网最细大数据学习笔记（三）：Hadoop 集群的搭建与配置

				
			

			

				

					Amo Xiang的博客
				

				

					04-09
					
					5539
					
				

			

		

		

			
				
文章目录一、学前必备知识二、使用 Ubuntu 20.04.2.0 进行 Hadoop 集群的搭建与配置1、Hadoop 集群详解2、搭建集群前的准备工作3、配置 Hadoop 集群4、启动并关闭 Hadoop 集群5、查看 Hadoop 集群的基本信息6、在 Hadoop 集群中运行程序三、使用 Centos7 进行 Hadoop 集群的搭建与配置
一、学前必备知识

2021年 全网最细大数据学习笔记（一）：初识 Hadoop
2021年 全网最细大数据学习笔记（二）：Hadoop 伪分布式安装

二、

			
		

	





	

		

			

				
					
大数据学习Hadoop之HDFS基础使用

				
			

			

				

					追风邵的博客
				

				

					06-06
					
					704
					
				

			

		

		

			
				
一、HDFS启动：1、第一次启动：1.1、查看服务是否启动ps  -ef|grep hdfs1.2、如果未启动，进入相关目录启动cd  /softwarellcd /hadoop-2.8.1llcd sbin./start-dfs.sh 1.3、查看启动的进程：jps2、第二次启动：namenode：localhost datanode：localhostsecondary namenodes： ...

			
		

	





	

		

			

				
					
Hadoop-HDFS基本操作和入门知识

				
			

			

				

					Eudemonia22222的博客
				

				

					03-29
					
					571
					
				

			

		

		

			
				
Hadoop-HDFS的基本操作：ls, put, get, rm, balancer, moveFromLocal, count, mkdir,du, setrep

			
		

	





	

		

			

				
					
Hadoop 教程 - Hadoop HDFS 操作详解

				
			

			

				

					qq_33240556的博客
				

				

					06-26
					
					381
					
				

			

		

		

			
				
Hadoop HDFS（Hadoop Distributed File System）是Hadoop生态系统中用于存储大量数据的分布式文件系统。以下是一些HDFS的基本操作和命令详解，这些命令通常在进行大数据处理前的文件管理中非常重要。

			
		

	





	

		

			

				
					
HDFS最基础使用

					
热门推荐

				
			

			

				

					lydms的博客
				

				

					10-03
					
					1万+
					
				

			

		

		

			
				
Hadoop中核心的数据存储管理，HDFS的内容基础讲解入门。

			
		

	





	

		

			

				
					
Hadoop-hdfs常用命令

				
			

			

				

					qq_40301475的博客
				

				

					05-28
					
					317
					
				

			

		

		

			
				
Hadoop-hdfs常用命令
本文为学习尚硅谷海哥教学视屏笔记
一，启动

启动 Hadoop 集群

[xumx@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
[xumx@hadoop102 hadoop-3.1.3]$ sbin/start-yarn.sh


-help：输出这个命令参数

[xumx@hadoop102 hadoop-3.1.3]$ hadoop fs -help rm


创建/sanguo 文件夹

[xumx@hadoop102 had

			
		

	





	

		

			

				
					
hdfs使用

				
			

			

				

					weixin_42381854的博客
				

				

					06-06
					
					956
					
				

			

		

		

			
				
Hadoop分布式文件系统(HDFS)http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/WebHDFS.html#Open_and_Read_a_File应用场景:适合:高容错性,高吞吐量,以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是管理网络中跨多台计算机存储的文件系统。不适合：要求低时间延迟数...

			
		

	





	

		

			

				
					
HDFS简单使用指南

				
			

			

				

					zzaliubi的博客
				

				

					04-21
					
					661
					
				

			

		

		

			
				
hdfs简单使用指南
一、概述
HDFS是Hadoop程序在工作时的主要分布式存储组件。HDFS集群主要由NameNode和DataNode组成，NameNode负责管理文件系统的元数据，DataNode负责存储实际的数据。主要介绍用户和HDFS集群的交互。
以下是一些比较常见的特征和功能
1）Hadoop是用java语言写的，所以主要平台上基本都可以支持。
2）NameNode和DataNode在web页面也可以访问。
3）HDFS包含的一些常用功能：
（1）文件权限与身份验证
（2）机架感知：在任务调度

			
		

	





	

		

			

				
					
HDFS-操作

				
			

			

				

					2403_88719012的博客
				

				

					11-05
					
					1027
					
				

			

		

		

			
				
hdfs操作大全

			
		

	





	

		

			

				
					
HDFS的使用操作

				
			

			

				

					super-yong的博客
				

				

					01-24
					
					500
					
				

			

		

		

			
				
前面系统的介绍过HDFS文件系统，接下来介绍的是如何使用HDFS文件系统:

HDFS文件系统也是建立在linux上的一种文件系统，所以它和linux的文件系统使用方法大致相同下面是HDFS文件系统的基本使用命令：

        查看文档：


bin/hdfs dfs

        创建目录：            


bin/hdfs dfs -mkdir -p /datas/map...

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 11

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
Amo Xiang

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值