记录hadoop几个好用的命令行操作

最新推荐文章于 2022-04-16 13:49:22 发布
原创 最新推荐文章于 2022-04-16 13:49:22 发布 · 852 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop副本份数 #hadoop

本文介绍了Hadoop中几个常用的命令，包括distcp用于文件系统的并行复制、-dus用于显示文件大小、-setrep用于调整文件副本数量及fsck命令查看集群状态等。通过这些命令，用户可以更高效地管理和操作Hadoop文件系统。

1. distp

使用方法： hadoop distcp /file1 /file2

说明：在相同的文件系统中并行地复制

2. -dus

使用方法： hadoop fs -dus /file

说明：显示目标文件大小

3. hadoop fsck -locations

说明：查看集群状态，包括副本个数、datanode信息等

3. -setrep

使用方法：hadoop fs -setrep [R]  <path>

说明：改变一个副本的复制份数

示例： hadoop fs -setrep -w 3 -R /file

附：要查看副本的复制份数，可用hadoop fs -ls /file 来查看，其文件信息中第一个数字即为副本复制份数

cmd hadoop 不能运行_hadoop安装解决之道
weixin_39640085的博客
01-05 1348
壹、故障现象 Microsoft Windows [版本 10.0.18362.239] (c) 2019 Microsoft Corporation。保留所有权利。 C:UsersChirius>hadoop version 系统找不到指定的路径。 Error: JAVA_HOME is incorrectly set. Please update C:dhc_hlkh...
hadoop.cmd
12-09
hadoop.cmdhadoop.cmd
hadoop cmd
weixin_30237281的博客
07-26 387
一、hadoop文件操作 1、Ls 　　hadoop fs -ls / 2、Put 　　hadoop fs -put xx /path 3、Mkdir 　　hadoop fs -mkdir 4、要从HDFS中删除文件，可以使用以下命令： 　　hadoop fs -rm -r -skipTrash /path_to_file/file_name 5、要从HDFS中删除文...
Hadoop基本命令
他的博客
09-18 344
提前话： hadoop fs -cmd：针对通用文件系统的命令，不限于HDFS。包括本地文件、HFTP文件、S3文件系统等 hdfs dfs -cmd：只针对HDFS的指令 hadoop dfs -cmd：相当于上一条命令的旧版本，已经不推荐使用。在hadoop内部这条指令会被转换为hdfs dfs。 Help!! hdfs -dfs -help 1.查看文件目录 hdfs -dfs -ls...
hadoop2.7.x windows下安装cmd文件
11-03
windows下安装hadoop2.7.x 需要cmd文件，解压覆盖bin目录即可。原本想免积分的，没有这个选项，愿资源槛低一点
windows平台下安装配置Hadoop
m0_67401746的博客
03-29 2133
安装配置流程 1.下载Hadoop软件：http://archive.apache.org/dist/hadoop/core/ 此处下载版本hadoop-2.7.7，解压至目录(D:jobhadoophadoop-2.7.7) 注：如果后续要安装Spark，那么最好安装和Spark版本对应的Hadoop版本 查看hadoop/spark对应版本：http://spark.apache.org/downloads.html 2.下载其他相关文件(编译后的二进制文件)：https://github.com/
解决安装Hadoop后cmd下使用命令“hadoop version “找不到或无法加载主类的问题
qq_39540537的博客
07-21 2万+
在安装hadoop时首先要确认Java以安装,并且在系统环境变量中为你的jdk设置路径。 安装Java及配置jdk的过程就不详细解释了,Win+R打开cmd输入java -version如果出现错误说明上述过程存在问题,找教程解决就行了。 下载好hadoop后,进入hadoop下载目录下的bin文件夹,在目录窗口输入cmd从而进入当前目录 尝试输入hadoop version来检查hadoop是否可用,如果提示系统找不到指定的路径。则说明需要重新设置jdk的路径,进入到bin目录下的上级目录,
hadoop 安装_hadoop安装解决秘籍
weixin_39632057的博客
11-24 274
1、故障现象Microsoft Windows [版本 10.0.18362.239](c) 2019 Microsoft Corporation。保留所有权利。C:甥敳獲Chirius>hadoop version系统找不到指定的路径。Error: JAVA_HOME is incorrectly set. Please update C:dhc_hlkhadoop-2.8.5etchad...
hadoop-dist-2.7.0.jar
05-28
hadoop-dist-2.7.0.jar
Hadoop distcp命令（一）
IronWring_Fly的博客
10-09 1万+
因为工作中涉及到了不同集群之间的数据拷贝问题，所以翻看了官方文档，为了能更好的吸收，特此将文档翻译如下。 distcp 分布式拷贝 一、总览 DistCp （分布式拷贝）是一个用来进行数据拷贝的工具，不同的是，这个命令通常是在大规模集群内部和大规模集群之间使用。DistCp命令的拷贝过程本质依然是MapReduce任务，它通过MR的方式来实现拷贝过程中的数据分发、错误处理以及报告。 该命令将文件和目录的列表作为map任务的输入，每个map任务都会复制原列表中指定路径下的文件。 早期版本的DistCp在用法、
Windows下安装Hadoop
weixin_33896726的博客
07-08 566
Windows10下安装Hadoop2.6，Windows10下编译64位Hadoop2.x。详细记录了Windows10版本下对Hadoop的编译、安装步骤，以及相关包或者软件下载安装过程。 不需要在Cygwin下安装Hadoop，官方也不推荐使用Cygwin。 Hadoop版本支持情况：Hadoop 2.2版本起包括Windo...
win下hadoop配置环境后cmd中报错
qq_46267291的博客
04-16 3782
Win下hadoop环境配置完后，cmd中报错 报错1： 将java和hadoop安装位置更改一下，重新配置环境变量，安装目录中不能有空格，否则hadoop会报错 报错2： 这个报错说明hadoop安装及配置环境没问题，java安装路径有空格导致的 方法一： 将Java卸载重新安装到没有空格的路径下，再重新配置环境变量 方法二：若java在Program Files下 进入hadoop安装位置目录下，etc/hadoop下 找到hadoop-env.cmd文件 以记事本方式打开，找到set JAVA
Hadoop命令大全
热门推荐
Royce Wang专栏
03-01 3万+
<br />1、列出所有Hadoop Shell支持的命令<br />  $ bin/hadoop fs -help<br />2、显示关于某个命令的详细信息<br />  $ bin/hadoop fs -help command-name<br />3、用户可使用以下命令在指定路径下查看历史日志汇总<br />  $ bin/hadoop job -history output-dir<br />这条命令会显示作业的细节信息，失败和终止的任务细节。<br />4、关于作业的更多细节，比如成功的任务，以及
hadoop-env.cmd 环境变量错误
a1540953171的博客
08-09 1627
windows下 报出 环境变量的错误 Error: JAVA_HOME is incorrectly set. Please update D:\hadoop-2.8.5\etc\hadoop\hadoop-env.cmd 首先检查JAVA_HOME 是否正确。 JAVA_HOME=C:\Program Files\Java\jdk-11...
错误：Error: JAVA_HOME is incorrectly set. Please update $HADOOP_HOME\etc\hadoop\hadoop\hadoop-env.cmd
程序猿丶HLK
03-27 7113
报错说明： C:\Users\Administrator>hadoop version 系统找不到指定的路径。 Error: JAVA_HOME is incorrectly set. Please update C:\dhc_hlk\hadoop-2.8.5\etc\hadoop\hadoop-env.cmd '-Xmx512m' 不是内部或外部命令，也不是可运行的程序...
好用的linux命令
edent-ON THE WAY
10-28 831
1. 查看cpu more/proc/cpuinfo | grep name | cut -f2 -d: | uniq -c 2. 查看
Hadoop命令行基本操作
乔的博客
02-06 1408
Hadoop 重要的端口 1.Job Tracker 管理界面：50030 2.HDFS 管理界面 ：50070 3.HDFS通信端口：9000 4.MapReduce通信端口：9001 常用访问页面 1. HDFS 界面 http://hostname:50070 2. MapReduce 管理界面 http://hostname:50030格式化
菜鸡踩坑之window下hadoop单机安装 （精简版）
百物易用是苏生
07-06 776
承接上一篇的踩坑之路，浓缩留下精简版。 一：hadoop下载与环境变量配置 hadoop官网下载自己的版本：https://hadoop.apache.org/release.html， hadoop-2.6.0.tar.gz 解压放入自己的目录如F:\devlopSoftwareDeploy\hadoop-2.6.0 在环境变量中设置： HADOOP_HOME 设为F:\devlop...
Java之美[从菜鸟到高手演练]之Hadoop常用命令
智慧演绎，无处不在
01-15 2万+
这篇文章主要是讲一下位于bin下的hadoop命令，我们可以直接输入hadoop无任何参数看一下：用法就是：hadoop [---config confdir] COMMAND此处COMMAND就是下面列出来的那些，fs, version,jar 等等。
Hadoop环境搭建与基础操作概览
作者提供的几个URL链接分别指向Hadoop集群的健康检查界面、ResourceManager（YARN）的监控界面以及JobHistory Server的界面，这些都是管理和监控Hadoop集群的重要入口。通过这些页面，管理员可以了解集群的状态、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值