Hadoop学习<二>--HDFS文件系统操作方式

最新推荐文章于 2024-05-26 15:30:27 发布

原创

最新推荐文章于 2024-05-26 15:30:27 发布 · 1.5k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #分布式 #分布式文件系统 #大数据

本文介绍了Hadoop HDFS的文件系统操作，包括查看用户信息、Eclipse快捷键，并详细探讨了HDFS写数据的过程。在搭建Hadoop伪分布模式时，提到了权限设置的注意事项。通过FileSystem类与DFSClient，解析了HDFS写入文件的步骤，强调了DFSClient作为RPC客户端在HDFS操作中的核心作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

linux用户身份与群组记录的文件
cat /etc/group                查看用户组
cat /etc/shadow              查看个人密码
cat /etc/passwd              查看用户相关信息
这三个文件可以说是：账号，密码，群组    信息的的集中地！

w或who 查看用户在线信息和登录信息

eclipse 创建方法快捷键shift + alt + M
eclipse 创建局部变量快捷键 shift + alt + L

1.对hdfs的操作方式：hadoop fs xxx

hadoop fs -ls /   查看hdfs的根目录下的内容的
hadoop fs -lsr /   递归查看hdfs的根目录下的内容的
hadoop fs -mkdir /d1   在hdfs上创建文件夹d1
hadoop fs -put <linux source> <hdfs destination> 把数据从linux上传到hdfs的特定路径中
hadoop fs -get <hdfs source> <linux destination> 把数据从hdfs下载到linux的特定路径下
hadoop fs -text <hdfs文件>   查看hdfs中的文件
hadoop fs -rm       删除hdfs中文件
hadoop fs -rmr   删除hdfs中的文件夹

hadoop fs -ls hdfs://zebra:9000/

2.HDFS的datanode在存储数据时，如果原始文件大小>64MB,按照64MB大小切分；如果<64MB，只有一个block，占用磁盘空间是源文件实际大小。

下面学习搭建Hadoop开发环境（伪分布模式），练习HDFS 的java访问方法，具体搭建方法网上很多，这里不是多说，有一点需要注意，就是我们本地跑hadoop项目需要将它的权限注释掉，避免权限错误，报权限异常，做法就是对包core里的org.apache.hadoop.fs.FileUtil 类的 checkReturnValue 方法内容注释，如下：

  private static void checkReturnValue(boolean rv, File p, 
                                       FsPermission permission
                                       ) throws IOException {
//	  //权限屏蔽，zebra 
//    if (!rv) {