大数据处理技术：Hadoop开发环境搭建

目录

1 实验名称

2 实验目的

3 实验内容

4 实验原理

5 实验过程或源代码

5.1 JavaJDK的配置

5.2 Hadoop安装与伪分布式集群搭建

5.3 HDFS系统初体验

6 实验结果

6.1 JavaJDK的配置结果

6.2 Hadoop安装与伪分布式集群搭建结果

6.3 HDFS系统初体验结果

---

1 实验名称

       Hadoop开发环境搭建

2 实验目的

       了解Hadoop 起源，进行Hadoop 的安装和配置，包括JavaJDK的配置与Hadoop安装与伪分布式集群搭建。

3 实验内容

       （1）配置开发环境-JavaJDK的配置

       （2）配置开发环境-Hadoop安装与伪分布式集群搭建

       （3）HDFS系统初体验

4 实验原理

       Hadoop开发环境的搭建主要是为了在本地或远程服务器上创建一个支持Apache Hadoop框架运行的环境，这个框架主要用于处理大规模数据集。Hadoop开发环境的搭建的基本步骤和原理包括：首先，你需要Hadoop的最新稳定版本，通常包括Hadoop Distributed File System (HDFS) 和MapReduce两部分。其次配置环境变量和核心配置文件，将Hadoop的bin目录添加到系统路径中，以便于命令行使用Hadoop工具。然后启动守护进程并验证环境，最后可以编写和运行MapReduce程序。

5 实验过程或源代码

5.1 JavaJDK的配置

1.创建一个/app文件夹，我们之后的软件都将安装在该目录下。命令：mkdir /app，然后，切换到/opt目录下，来查看一下提供的压缩包。

2.解压JDK并将其移动到/app目录下，可以切换到/app目录下查看解压好的文件夹。

3.解压好JDK之后在环境变量中配置JDK，输入命令：vim /etc/profile 编辑配置文件；在文件末尾输入如下代码（不可以有空格）：export JAVA_HOME CLASSPATH PATH；然后，保存并退出。最后：source /etc/profile使刚刚的配置生效。

4.测试一下环境变量是否配置成功，输入：java -version

5.2 Hadoop安装与伪分布式集群搭建

1.设置SSH免密登录，输入如下代码：ssh-keygen -t rsa -P ''，生成无密码密钥对，询问保存路径直接输入回车，生成密钥对：id_rsa和id_rsa.pub，默认存储在/home