小试hadoop 1(Debian7上配置hadoop 2.2.0）

最新推荐文章于 2023-09-12 22:03:07 发布

crazyjwang

最新推荐文章于 2023-09-12 22:03:07 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： linux Book Review 文章标签： hadoop 配置实践数据传送

本文链接：https://blog.youkuaiyun.com/crazyjwang/article/details/17630051

Book Review 同时被 2 个专栏收录

5 篇文章

订阅专栏

linux

4 篇文章

订阅专栏

本文详细介绍了Hadoop 2.x的配置过程，包括环境变量设置、核心配置文件调整等内容，并提供了无密码SSH登录的配置方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先这里推荐一本《hadoop_real-world_solutions_cookbook》，如果有需要可以下载，像我这样的菜鸟估计只有这样手把手教学才行咯。

说道hadoop，首当其冲的自然是配置，这个在网上和几乎没一本书上都有介绍，我这里就简单介绍将我的配置过程中遇到的问题记录一下：

首先下载hadoop，目前来说最新的是hadoop2.*，我这里下的是2.2.0,要说和之前有区别，那应该就算是2.*多了yarn吧，这里不介绍了，ok解压

tar -zxvf hadoopName.tar.gz

配置环境，

vim /etc/profile

#set java environment
export JAVA_HOME=/home/crazyj/Programs/jdk1.7.0_45
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#:$JAVA_HOME/lib/mysql-connector-java-3.2.0.jar:$JAVA_HOME/lib/classes12.jar
export PATH=$PATH:$JAVA_HOME/bin
export JRE_HOME=$JAVA_HOME/jre

export HADOOP_HOME=/home/crazyj/Programs/hadoop-2.2.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
export CLASSPATH=$HADOOP_HOME/lib:$CLASSPATH
  
export PIG_HOME=/home/crazyj/Programs/pig-0.12.0
export PATH=$PATH:$PIG_HOME/bin
 
export SQOOP_HOME=/home/crazyj/Programs/sqoop-1.4.4
export PATH=$PATH:$SQOOP_HOME/bin

export HBASE_HOME=/home/crazyj/Programs/hbase-0.94.14
export PATH=$PATH:$HBASE_HOME/binexport HIVE_HOME=/home/crazyj/Programs/hive-0.11.0
export PATH=$PATH:$HIVE_HOME/bin
export MONGODB_HOME=/home/crazyj/Programs/mongodb-linux-i686-2.4.8
export PATH=$PATH:$MONGODB_HOME/bin

这个是我的配置项，后面的配置全部夹在了里面，以后就不介绍了，之后呢便是

core-site.xml（位置在etc/hadoop下）

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/crazyj/Programs/hadoop-2.2.0/tmp</value>
    </property>

</configuration>

这里需要说明的一点是tmp.dir一定要设定，否则每次系统重启后都需要对hdfs格式化，具体可以参考这篇博客，tmp目录的话则需要在hadoop安装目录下新建，如果要修改应该也可以。

hdfs-site.xml

 <configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

</configuration>

mapred-site.xml.template

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:8021</value>
    </property>
</configuration>

这个和以前的有点不太一样，名字

hadoop-env.sh需要将JAVA_HOME设置成jdk的安装目录，配置至此基本完成，这是一个为分布的方式，其他方式的分布到以后用到的时候在配置好了。当然了，这里需要确保ssh已经安装上可通过

which ssh
which sshd
which ssh-keygen

查看是否已经安装ssh，安装则直接

apt-get install ssh

即可，无密码登陆则使用

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

当然了需要先创建.ssh文件夹，登陆为ssh localhost，成功则不需要输入密码

第一次启动先使用

hadoop namenode -format

否则无法启动，利用sbin目录下面的start和stop的sh文件即可启动和停止hadoop的服务。

下一次在写数据的传送吧。