Hadoop常用操作指令和Hadoop集群配置

4月11日

Hadoop常用操作指令
hadoop dfsadmin –report 查看hdfs基本统计信息
start balancer –threshold 负载均衡
hadoop dfsadmin –safemode leave 退出安全模式
hadoop fs -cat 打开某个已存在文件
hadoop fs -ls 查看指定目录下内容
hadoop fs -put 将本地文件夹存储至hadoop上
hadoop fs –mkdir 在hadoop指定目录内参加新目录
hadoop fs -thochz 在hadoop指定目录下新建一个空文件夹
hadoop fs –mv 重命名
hadoop fs –chmod 改变文件的权限
hadoop fs –get[文件目录][本地目录]将hadoop上某个文件down至本地已有目录下
hadopp fs –rmr 递归删除hadoop上指定文件夹
hadoop dfs –getmerge 将hadoop指定目录下所有内容保存为一个文件
hadoop job –kill[job-id] 将正在运行的hadoop作业kill掉

4月12日
Hadoop集群中节点的增加和删除
1、CentOS修改主机名

2、修改hosts(各个节点)

3、SSH互通
(1)生成公钥(各个节点)

(2)将主节点生成的公钥复制到从节点

(3)将各个节点生成的公钥添加到各自的authorized_keys中

增加权限
chmod 600 /authorized_keys
4、主从配置(在hadoop下,在主节点下)

5、复制(注意复制到的路径的用户名和主机名的)

6、复制后必须在每个节点执行格式化 ???

配置文件
core-site.xml
fs.defaultFS
io.file.buffer.size

hdfs-site.xml

指定HDFS Datanode同时处理文件的上限(这里不是完整的配置文件)

<property>
  <name>dfs.datanode.max.xcievers</name>
  <value>4096</value>
</property>

yarn-site.xml

<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>