《大数据技术与应用》课程相关实验

《大数据技术与应用》课程相关实验

主要内容
使用 VMWare Workstation pro安装 CentOS 7.6，安装并配置 Hadoop，实现伪分布式与分布式部署
启动自带MapReduce示例程序 WordCount
编写程序，利用 Hadoop 的 Java API 实现简单的文件系统读写功能

使用 VMWare Workstation pro安装 CentOS 7.6，安装并配置 Hadoop，实现伪分布式与分布式部署

安装 VMWare Workstation pro
参考教程：https://blog.youkuaiyun.com/liujiding/article/details/76252525
VM安装centos
参考教程：https://blog.youkuaiyun.com/u010194538/article/details/79777153
伪分布式配置
1.安装配置JDK
①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
②运行安装包，第一次选择JDK安装路径，第二次选择JRE安装路径，开始安装。
③配置JDK的环境变量，Path添加JDK的\bin的安装路径，cmd命令行运行javac，查看是否成功安装配置。

2.安装Eclipse
①官网下载Eclipse安装包eclipse-inst-win64：https://www.eclipse.org/downloads/
②运行安装包，选择Eclipse IDE for Java Developers，开始安装。过程可能较慢。

3.安装Maven
① Maven官网http://maven.apache.org/download.cgi，选择最近的镜像，选择Maven压缩包apache-maven-3.6.0-bin.tar.gz开始下载。
②解压Maven压缩包apache-maven-3.6.0-bin.tar.gz，解压后的文件夹\apache-maven-3.6.0，将其考入自定义路径，如C:\eclipse\apache-maven-3.6.0。
③配置Maven的环境变量，Path添加Maven的\bin的安装路径，cmd命令行运行mvn -v，查看是否成功安装配置。

4.Eclipse配置Maven
①修改settings.xml
在安装所在文件夹\apache-maven-3.6.0下面，新建\repository文件夹，作为Maven本地仓库。在文件settings.xml里添加 C:\eclipse\apache-maven-3.6.0\repository。
②配置Maven的installation和User Settings
【Preferences】→【Maven】→【Installations】配置Maven安装路径，【User Settings】配置settings.xml的路径。
③添加pom.xml依赖
依赖（Maven Repository: hadoop）所在网址：https://mvnrepository.com/tags/hadoop ，找到对应版本的三个依赖（如下），拷贝至pom.xml的与之间，保存之后自动生成Maven Dependencies。

<dependencies>
  <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-hdfs</artifactId>
      <version>2.7.3</version>
  </dependency>
  <dependency>  
      <groupId>org.apache.hadoop</groupId>  
      <artifactId>hadoop-client</artifactId>  
      <version>2.7.3</version>  
  </dependency> 
  <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>2.7.3</version>
  </dependency>
</dependencies>

安装配置成功后，Maven项目树显示如下两项：