hadoop 命令总结

最新推荐文章于 2025-06-11 10:05:23 发布

原创最新推荐文章于 2025-06-11 10:05:23 发布 · 4.9k 阅读

2 ·

CC 4.0 BY-SA版权

hadoop 专栏收录该内容

2 篇文章

订阅专栏

本文总结了Hadoop命令的使用，包括如何通过source命令进行认证，以及使用hadoop fs -ls命令来访问HDFS上的文件系统。理解这些命令对于有效地管理和操作Hadoop分布式文件系统至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. Hadoop是独立的文件系统，和linux文件系统独立，不能直接使用linux命令。

2. 登录hadoop服务器，先执行haoop的环境变量命令(在root用户下面登陆)：
hadoopc1h1:~ # . /opt/client/bigdata_env
执行hadoop启动需要的安全认证：

. /opt/client/bigdata_env
cd /opt/client

source bigdata_env ossuser keytab/ossuser.keytab

或直接 source /opt/client/bigdata_env ossuser /opt/client/keytab/ossuser.keytab
hadoop fs -ls /srv/smartcare/cal*/ran

访问hadoop文件系统前要先认证，ls是linux命令，访问的是linux，hadoop fs -ls 才能访问hadoop文件系统，hadoop服务器本身是linux系统，HDFS部署在hadoop服务器上，直接ls访问的是物理文件。hadoop fs -ls访问的是数据文件。就像在自己window系统上安装IDE，可以访问.java文件。hadoop fs -ls 可以访问HDFS。

3. 查看文件列表
hadoop fs -ls /srv/smartcare/inventorycfg/CalcHistory

4. 查看文件内容
hadoop fs -cat /srv/smartcare/inventorycfg/CalcHistory/NPX.dat
hadoop fs -cat /srv/smartcare/inventorycfg/CalcHistory/healthu_day.dat

5. haoop上的文件拷贝到本地：
hadoop fs -copyToLocal /srv/smartcare/inventorycfg/CalcHistory/NetworkMonitorDay.dat

hadoop fs -put f_lkpi_polygon_h /srv/smartcare/calc_input/ran/（-put下载）

6. 删除hadoop上的原文件：
hadoop fs -rm /srv/smartcare/inventorycfg/CalcHistory/NetworkMonitorDay.dat

7. 修改本地文件后上传到hadoop:
haoop fs -copyFromLocal NetworkMonitorDay.dat /srv/smartcare/inventorycfg/CalcHistory/

8. 执行后台命令触发天粒度任务立即执行：
先通过维护IP登录到调度服务器（SCHS），执行
curl -L -H 'Content-Type: application/json' -X POST 127.0.0.1:8081/scheduler/processes/process-insts/spark_npx_1D_schedule_proc

9. Hadoop上小时级别数据目录：
hadoop fs -ls /srv/smartcare/calc_input/ran/t_lkpi_hour_grid
hadoop fs -ls /srv/smartcare/calc_input/ran/t_lkpi_hour_polygon
hadoop fs -ls /srv/smartcare/calc_input/ran/t_lpolygon_grid_relation

hadoop fs -ls /srv/smartcare/calc_input/ran/t_ukpi_hour_grid
hadoop fs -ls /srv/smartcare/calc_input/ran/t_ukpi_hour_polygon
hadoop fs -ls /srv/smartcare/calc_input/ran/t_upolygon_grid_relation

10 DPA日志地址：/var/log/runlog/ecm/app/dpa/computingProcess-32026/computingProcess-0-0/log
查看服务器地址：cat /opt/ecm/app/0010/proc/workspace0/fmtdata/CFG_IP_INFO.csv

11 从HDFS下载配置文件到本地目录:

# mkdir -p /home/omc/pa/patch1022

#cd /home/omc/pa/patch1022

#hadoop fs -get /srv/smartcare/subsche/store/plugin/conf/common_processConf.properties

使用vi命令修改取下来在当前目录的common_processConf.properties文件相关配置项:

上传配置文件到HDFS:

# hadoop fs -put -f common_processConf.properties /srv/smartcare/subsche/store/plugin/conf