hadoop连接方式配置-fs操作-put

最新推荐文章于 2022-11-03 16:16:58 发布

原创最新推荐文章于 2022-11-03 16:16:58 发布 · 2k 阅读

0 ·

CC 4.0 BY-SA版权

hadoop 专栏收录该内容

6 篇文章

订阅专栏

本文档介绍了如何配置Hadoop的连接方式，包括选择启动配置模式、设置环境变量、创建用户目录，以及使用`hadoop fs`命令进行文件系统操作，如查看目录、创建多级目录、删除文件等。通过`put`命令将本地文件上传到HDFS，并展示了文件在DataNode的具体存储位置。最后，讨论了默认存储路径的问题，提示需要配置永久存储路径。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

cat core-site.xml ;cat yarn-site.xml ;cat hdfs-site.xml /////多个文件合并cat

选择启动哪种配置模式：

ln -s hadoop_pseudo hadoop（前提是剔除环境变量）

export HADOOP_CONF_DIR= ////剔除环境变量

创建用户目录

hadoop fs -ls / /////查看fs的根目录

hadoop fs -ls -R / /////递归查看fs的根目录

hadoop fs -mkdir -p /user/$USER //-p是创建多级目录

fs -rm -R /usr ////删除目录及目录下的所有文件

namenode、datanode在本机上存储的位置

cd /tmp/hadoop-ubuntu/dfs/name/current ///namenode的当前信息，里面的fsimage_0000000000000000017存的就是文件系统的镜像文件fsimage_0000000000000000017,md5为校验版本

cat VERSION ///可查看版本信息

cd /tmp/hadoop-ubuntu/dfs/data/current ////查看datanode的信息

/tmp/hadoop-ubuntu/dfs/data/current/BP-1913675862-127.0.1.1-1467596308382/current/finalized ///存放具体内容

查看帮助

hadoop fs ///直接回车，查看fs的所有帮助信息

hadoop fs -help put ///查看put的具体信息

往分布式文件系统上方文件

1 先本地建一个hello.txt

cd ~

touch hello.txt

echo "hello world" >> hello.txt

hadoop fs -put hello.txt /user/ubuntu

hadoop fs -ls -R ///该指令直接会查看/user/ubuntu/下的文件（非文件夹）

hadoop fs -ls -R / ///查看是否有hello.txt

查看具体存放在哪

cd /tmp/hadoop-ubuntu/dfs/data/current/BP-1913675862-127.0.1.1-1467596308382/current/finalized/subdir0/subdir0 ////可以看到blk_1073741825和blk_1073741825_1001.meta，blk为HDFS中的文件数据块，存储的是原始文件内容，一个文件可以是很多块；.meta是块的元数据文件：包括版本和类型信息的头文件，与一系列块的的区域校验和组成。

可以看到默认数据是放到tmp里了，但是每次重启机器tmp都会重新创建，所以不能放在这，需要配置