ubuntu安装hadoop2.7.3集群

ubuntu安装hadoop2.7.3集群

注意事项

1、确保系统位数一致，都为32位或64位，因为运行需要有同版本的jdk和hadoop。
2、找安装攻略时要选择版本对应的，版本间变化不小。
3、虚拟机的话记得把网络连接方式改为桥接，否则无法远程登录
4、必须创建新用户（统一名称，一般是hadoop），否则无法正常运行！

官方安装教程：

http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

推荐详细给力安装教程：

http://www.powerxing.com/install-hadoop-cluster/

相关命令

新建用户：
sudo useradd -m hadoop -s /bin/bash

修改用户密码：
sudo passwd hadoop

添加用户管理员权限：
sudo adduser hadoop sudo

拷贝文件内容至另一文件末尾：
cat filename1 >> filename2

远程登录：
ssh user@ip

远程拷贝文件：
scp filename1 user@ip:/path/to/filename2 #参数调换则变为从远程拷贝文件过来

更改文件夹及子文件的owner：
chown -R user filename

启动hadoop：

start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

查看节点启动进程：
jps

查看集群状态：
hdfs dfsadmin -report

关闭hadoop：
stop-yarn.sh
stop-dfs.sh
mr-jobhistory-daemon.sh stop historyserver