ssh的安装

2019独角兽企业重金招聘Python工程师标准>>>

常用命令：

ubuntu重启网卡  sudo /etc/init.d/networking restart


重启SSH服务: sudo /etc/init.d/ssh restart


临时获得root sudo -i 


指定文件夹下所有文件或文件夹为所有用户都能访问 sudo chmod -R 777 XXX

安装ssh-server

sudo apt-get install openssh-server


所有机器生成并设置权限
 ssh-keygen -t rsa
 cat id_rsa.pub >> authorized_keys
 chmod 700 .ssh
 chmod 644 authorized_keys
 chmod 600 id_rsa


转发
 scp authorized_keys linux@slave1:~
 cat id_dsa.pub >> .ssh/authorized_keys（将其他机器的公钥放到自己公钥的后面,最好保证每个机器的这个文件中都包含所有机器的公钥）




修改配置文件hadoop-env.sh
设置javahome位置


修改配置文件core-site.xml
<configuration>
    <property>
      <name>fs.default.name</name>
      <value>hdfs://master:9000</value>(namenode的服务器地址)
    </property>
</configuration>


修改配置文件hdfs-site.xml
<configuration>
    <property>
      <name>dfs.data.dir</name>
      <value>/usr/local/hadoop/data</value>
(数据块的存储目录位置，要事先建好)
    </property>
    <property>
<name>dfs.replication</name>
      <value>1</value>
(数据块的副本数)
    </property>
</configuration>


修改配置文件mapred-site.xml
<configuration>
    <property>
      <name>mapred.job.tracker</name>
      <value>master:9001</value>
(定义作业调度器jobtracker的地址，一般会设置与namenode在一起)
    </property>
</configuration>


修改masters主节点主机名例如
master


修改slaves子节点主机名例如
slave1
slave2


格式化分布式文件系统
在hadoop安装文件夹下
执行 bin/hadoop namenode -format


启动守护进程
在hadoop安装文件夹下
执行 bin/start-all.sh


查看守护进程启动情况
主机上执行 /usr/local/java_jdk/jdk1.6.0_24/bin/jps
结果
5314 JobTracker
5257 SecondaryNameNode
5426 Jps
5060 NameNode


子节点上执行 /usr/local/java_jdk/jdk1.6.0_24/bin/jps
4269 Jps
3549 TaskTracker
3426 DataNode
到这里所有步骤都结束了，hadoop安装配置完毕

总结一点，大部分遇到的问题都是权限导致的~~~~~~

转载于:https://my.oschina.net/sunchenbin/blog/632983