linux hadoop 32位单机

最新推荐文章于 2021-12-01 09:44:33 发布

原创最新推荐文章于 2021-12-01 09:44:33 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

BigData 专栏收录该内容

47 篇文章

订阅专栏

这里经可能精简部署步骤，来快速建立windows下连接hadoop并完成hadoop程序的调试：

1、直接使用root用户建立ssh无密钥登录：

#ssh-keygen -t rsa -P "" 一定要加上 -P "" 意思是密码为空。

#cd /root/.ssh/

#cat id_rsa.pub>>authorized_keys

2、下载hadoop binary文件（即32位可执行文件，直接配置就能运行，如果想要64位hadoop需要自己下载源码编译），网址：http://hadoop.apache.org/releases.html

3、安装jdk并配置环境变量

4、配置hadoop文件：

hadoop-env.sh // 加入jdk 的路径

core-site.xml ：

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://10.19.155.223:9000</value>
</property>
</configuration>

mapred-site.xml ：

<configuration>
    <property>
    <name>mapred.job.tracker</name>
    <value>10.19.155.223:9001</value>
    </property>
</configuration>

hdfs-site.xml ：

<configuration>  
<property>  
<name>dfs.name.dir</name>  
<value>/home/hadoop/hadoop-2.5.2/datalog1,/home/hadoop/hadoop-2.5.2/datalog2</value>  
</property>  
<property>  
<name>dfs.data.dir</name>  
<value>/home/hadoop/hadoop-2.5.2/data1,/home/hadoop/hadoop-2.5.2/data2</value>  
</property>  
<property>  
<name>dfs.replication</name>  
<value>2</value>  
</property>  
</configuration>

5、hadoop 格式化：

#bin/hdfs namenode -format

6、运行 hadoop ：

#sbin/start-all.sh

也可以分别单独运行：

#sbin/start-dfs.sh

#sbin/start-yarn.sh

7、查看启动状态：

#jps

会包括以下几个进程：

7859 DataNode
8258 NodeManager
8165 ResourceManager
7739 NameNode
8016 SecondaryNameNode
8570 Jps

8、maven项目的依赖（版本号相应修改）：

<dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>
    
    <dependency>  
      <groupId>junit</groupId>  
      <artifactId>junit</artifactId>  
      <version>3.8.1</version>  
      <scope>test</scope>  
    </dependency>  
    <dependency>  
        <groupId>org.apache.hadoop</groupId>  
        <artifactId>hadoop-common</artifactId>  
        <version>2.6.4</version>  
    </dependency>  
    <dependency>  
        <groupId>org.apache.hadoop</groupId>  
        <artifactId>hadoop-hdfs</artifactId>  
        <version>2.6.4</version>  
    </dependency>

9、如果提示log4j警告，在项目源文件文件夹下添加日志配置文件：log4j.properties

log4j.rootLogger=DEBUG, stdout  
log4j.appender.stdout=org.apache.log4j.ConsoleAppender   
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout   
log4j.appender.stdout.layout.ConversionPattern=%c{1} - %m%n  
log4j.logger.java.sql.PreparedStatement=DEBUG