Hadoop伪分布式环境搭建

1、环境要求

jdk安装

2、安装

安装前需要先做免密钥操作及创建安装目录

生成密钥 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 将密钥写入到认证文件 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 创建hadoop安装目录 mkdir /opt/hx

2.1、下载hadoop2.6.5安装包并解压

解压安装包 tar xf hadoop-2.6.5.tar.gz 将解压后的包移动到上述建立的目录/opt/hx下 mv hadoop-2.6.5 /opt/hx

2.2、配置hadoop环境变量

vi /etc/profile 增加HADOOP_HOME变量 JAVA_HOME=/usr/java/jdk1.7.0_80 JRE_HOME=/usr/java/jdk1.7.0_80/jre HADOOP_HOME=/opt/hx/hadoop-2.6.5 CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export JAVA_HOME JRE_HOME HADOOP_HOME CLASS_PATH PATH 执行source /etc/profile命令使配置生效 source /etc/profile

2.3、做jdk的二次环境变量配置

进入到hadoop目录 cd /opt/hx/hadoop-2.6.5/etc/hadoop/ 修改hadoop-env.sh文件 vi hadoop-env.sh

将JAVA_HOME路径换成jdk的绝对路径

2.4、修改配置文件

修改文件/etc/hadoop/core-site.xml:配置NameNode

<configuration>     <property>         <name>fs.defaultFS</name>         <value>hdfs://node01:9000</value>     </property>     <property>         <name>hadoop.tmp.dir</name>         <value>/var/hx/hadoop/local</value>     </property> </configuration>

修改文件etc/hadoop/hdfs-site.xml:配置副本数，伪分布式只能设置成1。并且配置snn节点

<configuration>     <property>         <name>dfs.replication</name>         <value>1</value>     </property>     <property>         <name>dfs.namenode.secondary.http-address</name>         <value>node01:50090</value>     </property> </configuration>

修改文件etc/hadoop/slaves:配置从角色在哪些节点启动，这里配置成node01即可

2.5、namenode格式化

hdfs namenode -format

格式化成功

2.6、启动NameNode,SecondaryNameNode,DataNode

start-dfs.sh

启动完毕后通过jps命令查看到相应进程说明启动成功

2.7、web页面查看启动状况

2.8、测试

新增一个当前登录人员的目录 hdfs dfs -mkdir -p /user/root

将下载的hadoop包放到此目录下

hdfs dfs -put hadoop-2.6.5.tar.gz  /user/root/

for i in ` seq 100000`;do echo "hello test $i" >> test.txt;done

通过上述命令将循环100000次数据写入到test.txt中，然后将按Block块大小1M上传

hdfs dfs -D dfs.blocksize=1048576 -put test.txt