2_2-分布式文件系统HDFS

原创 已于 2023-03-22 08:29:51 修改 · 598 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #大数据 #hdfs

于 2023-03-08 08:36:09 首次发布
该文详细介绍了如何使用Hadoop命令行工具进行HDFS操作，包括创建目录、编辑文本文件、上传文件、删除目录以及从HDFS复制文件到本地系统。

编程要求
在右侧命令行中启动Hadoop，进行如下操作。

在HDFS中创建/usr/output/文件夹；
在本地创建hello.txt文件并添加内容：“HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。”；
将hello.txt上传至HDFS的/usr/output/目录下；
删除HDFS的/user/hadoop目录；
将Hadoop上的文件hello.txt从HDFS复制到本地/usr/local目录。

start-dfs.sh
hadoop fs -mkdir /usr
hadoop fs -mkdir /usr/output
touch hello.txt
vim hello.txt
#进入到hello.txt中写
HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。
#然后esc ， shift+： wq  退出来
hadoop fs -put hello.txt /usr/output
hadoop fs -rm -r /user/hadoop
hadoop fs -copyToLocal /usr/output/hello.txt /usr/local

最后运行记得把hello.txt中的内容复制到代码文件里面

Hadoop大数据入门到实战（第四节） - HDFS文件系统（使用）
vip2193的博客
08-21 4634
这一小节我们来学习：1.HDFS的设计，2.HDFS常用命令。 HDFS的设计 分布式文件系统 客户：帮我保存一下这几天的数据。 程序猿：好嘞，有多大呢？ 客户：1T。 程序猿：好没问题，买个硬盘就搞定了。 一个月后… 客户：帮我保存下这几个月的数据。 程序猿：好嘞，这次有多大呢？ 客户：1024T。 哇，这么大吗？没有这么大的硬盘买呀，而且好像也没听过一台计算机可以...
HDFS的基本操作
qq_59947103的博客
10-05 3003
1.创建新目录 （1）命令：hdfs dfs -mkdir （只能逐级创建目录） （2）创建多级目录： 命令：hdfs dfs -mkdir -p 2.上传文件或下载文件 文件上传命令 （1）hdfs dfs [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>] 将文件从本地文件系统复制到HDFS文件系统中，主要参数<localsrc>为本地文件路径，&lt...
分布式文件系统HDFS
weixin_45534301的博客
03-28 3382
HDFS的常用命令 接下来我们来了解一下一些常用的文件系统操作，例如：读取文件，新建目录，移动文件，删除数据，列出目录，等等。你可以在命令行中输入hadoop fs -help 命令读取每个命令的详细帮助文件。 现在请跟着我一起，在Linux环境下对Hadoop进行文件系统操作，来体验一下Hadoop的使用。 新建目录： 在本地和hadoop中分别创建文件夹： 本地创建目录： hadoop创建目录： 上传文件至dfs： 切换到本地input目录下，创建文件并添加数据：hello hadoop。 将该文件
HDFS基本操作
2301_80318717的博客
05-29 1287
1.创建目录（文件夹）单层文件夹 hdfs dfs -mkdir 文件夹名多层文件夹 hdfs dfs -mkdir -p /文件夹1/文件夹2......2.上传文件hdfs dfs -put 源文件的路径 目标路径 将本地的源文件上传到hdfshdfs dfs -moveFromLocal 源文件的路径 目标路径 将本地的源文件移动到hdfs上（本地源文件删除）
第3章-分布式文件系统HDFS.pdf
02-24
总结来说，分布式文件系统HDFS的设计兼顾了硬件成本、数据处理效率和容错性，虽然有一些局限性，但在存储和处理大规模数据集方面具有显著的优势。HDFS的普及和应用为大数据处理技术提供了坚实的基础，极大地推动了...
fastdfs-oos-分布式文件系统hdfs
10-21
分布式文件系统（Distributed File System, DFS）是一种允许文件通过网络在多个主机上共享和存储的系统。HDFS，即Hadoop Distributed File System，是Apache Hadoop项目的核心组件，专门针对处理大规模数据集的存储...
Hadoop-HDFS-基于Hadoop的hdfs-分布式文件系统架构
12-22
分布式文件系统架构，存放的是文件的数据信息和验证文件完整性的校验信息，心跳机制
单元5--分布式文件系统HDFS.pptx
04-09
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错...
5-分布式文件系统HDFS上的操作(1)1
08-08
【分布式文件系统HDFS上的操作】是Hadoop生态系统的核心组件之一，它提供了高容错性和高可用性，使得大数据处理成为可能。HDFS是基于主从架构的，由NameNode和DataNode组成，NameNode负责元数据管理，DataNode则存储...
Hdfs基本操作1
08-08
Hdfs基本操作1
HDFS操作方法和基础编程
半濠春水的博客
05-05 1万+
1.实验目的 （一）熟悉HDFS的基本shell命令 （二）熟悉HDFS的web管理 （三）掌握HDFS编程实践 2.实验内容 （一）参考课本4.1的内容，完成相关的HDFS的基本shell命令。 0.命令基础 ①执行命令启动Hadoop（版本是Hadoop3.1.3）。 ②Hadoop支持很多Shell命令，其中fs是HDFS最常用的命令，利用fs可以查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。在终端输入如下命令可以查看fs全部支持的命令。 ③在终端输入如下命令，可以查看具体某个.
Hadoop HDFS的基本操作
qq_46387472的博客
05-26 3142
对于 HDFS 的基本操作,可以通过 HDFS 命令行实现。在集群服务器的终端，通过“hdfs dfs”命令即可完成对 HDFS 目录及文件的管理操作包括创建目录、上传文件与下载文件、查看文件内容、删除文件或目录等。
HDFS介绍及基本命令操作
小叮当的博客
07-23 2275
hdfs介绍
HDFS的基本操作（创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS文件）
热门推荐
weixin_61472217的博客
09-13 4万+
主要涉及HDFS shell操作命令，包括创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS上多个文件并下载、删除HDFS上的文件、查看各种命令的用法等。
Hadoop（八）—— 通过Java API操作HDFS
分享AI工具/AI副业玩法
03-05 476
文章目录1. 获取文件系统2. 上传3. 下载4. 创建目录5. 删除文件6. 重命名7. 查看【文件】名称、权限等8. 判断是否是个文件还是目录，然后打印9. IO流方式上传10. IO读取HDFS到控制台11. IO读取块 1. 获取文件系统 /** * 获取文件系统 */ @Test public void intiHDFS() throws IOException { //F2 可以快速的...
hdfs的基本操作
TPH_BETTER.的博客
11-26 1677
hdfs的基本操作 创建文件夹 在根目录下创建tph文件夹 hadoop fs -mkdir /tph 在创建子目录的同时创建上级目录 hadoop fs -mkdir -p /tph2/tph2_1 查看HDFS目录 查看根目录下的文件和目录 hadoop fs -ls / [root@node1 ~]# hadoop fs -ls / Found 34 items -rw-r--r-- 3 root supergroup 31 2021-08-21 11:48 /a.txt drwx
2. 分布式文件系统 HDFS
程序员五哥
06-07 2118
HDFS 是大数据存储的基础，几乎所有的大数据分布式存储需求都会使用到。Node：地址和端口Last Contact：最近通讯时间（正常是 0/1/2 的间隔，若不正常则为最后一次的通讯时间）Admin State：管理员状态Capacity：HDFS 容量Used：已使用容量Non DFS Used：非 HDFS 使用容量Remaining：剩余容量Blocks：块容量Block pool used：块使用占比。
【大数据计算】(一) HDFS操作方法和基础编程
2401_84617731的博客
04-27 1240
A. 编程实现一个类“MyFSDataInputStream”，该类继承“org.apache.hadoop.fs.FSDataInputStream”，要求如下：实现按行读取HDFS中指定文件的方法“readLine()”，如果读到文件末尾，则返回空，否则返回文件一行的文本。Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。学习Python常用的开发软件都在这里了，给大家节省了很多时间。
头歌2-1-分布式文件系统HDFS
最新发布
03-14
### 关于分布式文件系统 HDFS 的相关内容 #### HDFS 的定义与背景 HDFS 是一种用于大规模数据处理的分布式文件系统，设计目标是为了支持运行在廉价硬件上的超大文件存储。它通过提供高吞吐量的数据访问能力，非常适合需要大量数据集的应用程序[^2]。 #### HDFS 的体系结构 HDFS 的核心组成部分包括名称节点（NameNode）和数据节点（DataNode）。 - **名称节点**负责维护文件系统的元数据信息，例如文件树结构、块位置等。它是整个文件系统的管理中心[^3]。 - **数据节点**则负责实际的数据存储工作，并定期向名称节点发送心跳信号以报告其状态[^1]。 #### HDFS 的存储机制 HDFS 将文件分割成固定大小的块（默认为 128MB），并将这些块分布到集群中的不同数据节点上进行存储。为了提高可靠性和可用性，HDFS 还会对每个块进行多副本备份，默认情况下会保存三个副本[^4]。 #### HDFS 的读写过程 - **读取流程**: 客户端请求从 HDFS 中读取文件时，首先联系名称节点获取该文件所在的数据节点地址列表；随后直接连接至对应的数据节点下载所需数据[^5]。 - **写入流程**: 当客户端上传新文件到 HDFS 上时，同样先通知名称节点分配合适的存储位置给各个分片后再执行具体的写操作。 以下是基于 Java API 实现的一个简单例子展示如何创建目录并复制本地文件到 HDFS： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HDFSDemo { public static void main(String[] args) throws Exception{ Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path srcPath = new Path("/path/to/local/file"); Path dstPath = new Path("/path/in/hdfs"); // 创建目录 boolean mkdirsResult = fs.mkdirs(new Path("/test")); System.out.println("Mkdir result:" + mkdirsResult); // 复制文件到HDFS fs.copyFromLocalFile(srcPath, dstPath); fs.close(); } } ``` 上述代码片段展示了怎样利用 Apache Hadoop 提供的标准库函数完成一些基础任务如建立远程路径下的子目录以及把主机内的文档迁移到指定的目标位置下。 #### 命令行工具的操作方法 除了编程接口之外，还可以借助 Shell 命令轻松实现对 HDFS 文件系统的增删改查等功能。比如下面这条语句就是用来将某个特定地方的档案转移到虚拟环境里去： ```bash hadoop fs -put /local/path/to/source /destination/on/HDFS ``` 此命令的作用是从用户的个人电脑硬盘驱动器里面选取某份资料传送到云端服务器之中加以保管起来以便后续调用分析等等用途。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

问问问你的心

一起学习一起努力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值