Hadoop和Spark部署

Hadoop 和 Spark 部署文档

一、hadoop部署
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。[1] Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。
1、 实现root账户可登录
Root登陆：
vi /etc/lightdm/lightdm.conf

更改为：
[SeatDefaults]
greeter-session=unity-greeter
user-session=ubuntu
greeter-show-manual-login=true
allow-guest=false

出现tyy –s loading ……… .root/.profile

在刚修改完root权限自动登录后，发现开机出现以下提示：
Error found when loading /root/.profile
stdin:is not a tty
…………
解决方法：在终端中用命令gedit /root/.profile，打开文件后找到“mesg n”，
将其更改为“tty -s && mesg n”
2、 ssh 各节点之间的登录
sudo apt-get install vim //安装vim
sudo apt-get install openssh-server // 安装ssh server

cd ~
mkdir .ssh # 可能该文件已存在，不影响
cd ~/.ssh/
ssh-keygen -t rsa # 会有提示，都按回车就可以
cat id_rsa.pub >> authorized_keys # 将本机加入授权
scp ~/.ssh/id_rsa.pub root@Slave1:/home # 将公钥发送给Slave1

cd ~
mkdir .ssh
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys // 将master 节点的公钥加入到Slave1的授权文件中，Master 即可无需密钥访问到Slave1，同理将slave1的公钥放入到master ， slave1 也可以直接访问master

3、 将hadoop目录放在合适的目录中
修改core-site.xml文件

fs.defaultFS
hdfs://Master:9000


hadoop.tmp.dir
file:/usr/local/hadoop/tmp
Abase for other temporary directories.

修改hdfs-site.xml文件


dfs.replication
1


dfs.namenode.secondary.http-address
Master:50090

<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/root/hadoop/tmp/dfs/name</value>
</property>

<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/root/hadoop/tmp/dfs/data</value>
</property>

修改mapred-site.xml文件 两种模式未都测试过
参考： http://blog.youkuaiyun.com/yuzhiyuxia/article/details/20001447
按我前面的配置会卡在mapreduce.Job: Running job
在etc/hadoop/mapred-site.xml中，如果配置

    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>

则使用yarn来进行计算，那么必须启动nodemanager,
如果不使用yarn,进行mapreduce.job.tracker配置，也可以用MRv2来执行job，这样就不需要启动nodemanager：
保留下面

mapreduce.job.tracker
hdfs://master:端口
true

4、 配置yarn 如果使用yarn ，需要配置yarn-site.xml