hadoop伪分布式搭建

1，jdk安装，配置环境变量

vi /etc/profile

2，ssh免密钥（本机）

ssh-keygen -t dsa

-P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3，上传hadoop.tar.gz到服务器

解压，mv hadoop-2.6.5 /opt/sxt

vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_67

export HADOOP_PREFIX=/opt/sxt/hadoop-2.6.5

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin --.   /etc/profile

4，/opt/hadoop-2.6.5/etc/hadoop

*-env.sh,hadoop,mapred,yarn

JAVA_HOME=/usr/java/jdk1.7.0_67

core-site.xml    

      <property>        

            <name>fs.defaultFS</name>        

            <value>hdfs://node01:9000</value>    

     </property>    

     <property>        

             <name>hadoop.tmp.dir</name>        

             <value>/var/sxt/hadoop/local</value>    

     </property>

hdfs-site.xml    

     <property>        

              <name>dfs.replication</name>        

              <value>1</value>    

     </property>    

     <property>        

              <name>dfs.namenode.secondary.http-address</name>        

              <value>node01:50090</value>    

     </property>

slaves

     node01

hdfs namenode -format

start-dfs.sh

jps

28341 SecondaryNameNode

28102 NameNode

28207 DataNode

28480 Jps

hdfs dfs -mkdir /user

hdfs dfs -ls /user

hdfs dfs -mkdir /user/root

hdfs dfs -D dfs.blocksize=1048576 -put hadoop-2.6.5.tar.gz

http://192.168.9.11:50070

for i in `seq 100000`;do  echo "hello sxt $i" >> test.txt;done