hdfs在hadoop中的使用和命令

本文介绍了如何使用xshell的rz/sz命令进行文件在本地与服务器之间的传输,以及HDFS中的操作,包括创建目录、添加文件、删除和移动文件。此外,还讲解了在Hive中启动、创建和管理数据仓库以及导入数据的方法。

xshell中的操作:

rz:运行该命令会弹出一个文件选择窗口,从本地选择文件上传到服务器(receive)

sz:将选定的文件发送(send)到本地机器

一、虚拟机中的基本知识点

  1. vim 文件名(回车后就会出现下面的界面)

  1. 把输入法改成英文,点击A或者O就可进行插入

  1. 然后出入所需文字

  1. 完成后,按Esc,:,wq(保存并退出键)或q(不保存退出)

5.写文件内容

6.了解hdfs中的rm(删除文件)的功能

都是操作hdfs的

二、HDFS中的操作

7.hdfs创建新的目录aaa,在根目录下

8.在aaa目录下建文件bbb(注意添加-p)

9.把shujia.txt添加到根目录/aaa/bbb/ccc下

同样是添加

10.查看文件

根目录下的所有文件

11.拷贝

12.导出到当前路径下(./是当前路径)

13.hadoop fs -rm -r -f /Shutdown

删除不为空的directory

14.hadoop fs -mv 命令用于移动或重命名 HDFS 中的文件或目录

15.hdfs dfs -put xxx /xx/xx

上传文件到HDFS中

idea 里使用hdfs的操作

open.close();这句是关闭IO流

以上就是读取文档内容了。

输写


三、Hive的基本操作

1.启动HIve

(1)直接启动

/export/server/hive/bin/hive

(2)进入Hive的bin文件

然后hive

2.hive怎么传入local里的数据方式

3.hive 数据仓库

(1)查看

(2)创建数据仓库

create database if not exists DB;

(3)删除数据仓库

drop database if exists DB;

(4)使用数据库

(5)创建表

启动HDFSHadoop使用jps命令查看相关进程是否正常启动,可按以下步骤操作。 要启动HDFShdfs启动命令位于hadoop/sbin里面,需回到解压目录执行启动脚本。示例如下: ```bash [root@dsj011 hadoop-3.1.3]# start-dfs.sh ``` 此命令会启动NameNode、DataNodeSecondaryNameNode等进程。不过在启动前需确保之前的进程已停止,否则会有相应提示,如“datanode is running as process 1506. Stop it first.” [^2]。 启动Hadoop相关服务,可编写脚本一键启动hdfs、yarn历史服务。将以下内容写入`start-dfs.sh`、`stop-dfs.sh`、`start-yarn.sh`、`stop-yarn.sh`等文件中,并传给其他节点: ```bash HDFS_NAMENODE_USER=root HDFS_DATANODE_USER=root HDFS_SECONDARYNAMENODE_USER=root YARN_RESOURCEMANAGER_USER=root YARN_NODEMANAGER_USER=root scp stop-yarn.sh root@bigdata005:/opt/softs/hadoop3.1.3/sbin/ ``` 启动完成后,使用jps命令查看正在运行的Java程序,以确认相关进程是否正常启动。root用户使用时显示所有运行的Java程序,普通用户只显示自己启动的正在运行的Java程序。示例如下: ```bash jps ``` 若当前Linux系统启动了HDFS,正常情况下会显示类似以下信息: ```plaintext 26001 NameNode 26097 DataNode 26263 SecondaryNameNode 26398 Jps ``` 如果在使用jps命令查看时发现缺少某些进程,如NameNode、SecondaryNameNode、DataNode、NodeManager等,可使用以下命令确保NameNode服务正在运行: ```bash hadoop-daemon.sh start namenode ``` 之后再次使用jps命令查看进程状态 [^1][^2][^3][^4]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值