鸿爸爸

1、hdfs小文件合并脚本#!/bin/bashbizdate=$1path=$2for (( i = 0; i < 10; i++ )); do bizhour="0${i}" echo "${bizdate} ${bizhour}" hdfs dfs -test -e /${path}/bizdate=${bizdate}/bizhour=${bizhour}/log_type=access/ if [ $? -ne 1 ]; then

1、将该脚本放在新集群2、该脚本是将老集群的数据拉到新集群，底层是运行mapreducehadoop distcp -Dmapreduce.job.name="distcp_history_bid_${path}" -Dmapreduce.job.queuename=root.distcp_history -Ddistcp.dynamic.recordsPerChunk=50 -Ddistcp.dynamic.max.chunks.tolerable=10000 -skipcrccheck -m 300

1、将hadoop安装包解压到某个文件夹下面即可2、配置环境变量右击计算机–>属性–>高级系统设置–>高级–>环境变量新建–>编辑系统变量变量名–>HADOOP_HOME变量值–>hadoop的安装路径，bin文件夹的上一层3、在Path中增加%HADOOP_HOME%\bin，每个变量之间通过;分隔4、点击保存5、打开cmd界面6、输入hadoop version...