大数据平台技术课程实验报告实验一:开发与运行环境安装

  1. 虚拟机的创建

1.1虚拟化软件的安装

虚拟化软件为:VMware(版本不限)

网址:https://www.vmware.com/sg/products/workstation-pro.html

1.2虚拟机的创建

该处勾选稍后安装操作系统。我们在创建虚拟后启动时下载Ubuntu操作系统

//处理器数量一定要选1

创建虚拟机成功后启动,下载Ubuntu系统。

下载成功后。

以管理员身份运行Window的PowerShell

然后输入./netsh winscock reset或者netsh winsock reset

  1. Vmware tools的安装

启动所建立的虚拟机,选择VMware软件中的虚拟机的安装VMware Tools命令,此时就会在所建立的虚拟机桌面上显示VMware Tools的光盘图标。打开VMware Tools的光盘图标,打开VMware Tools文件夹,将里面的VMware Tools的压缩包拖到桌面上。

之后,打开Linux终端,输入以下命令解压VMware Tools的压缩文件

//进入桌面目录

cd desktop或者cd 桌面

//解压

Tar -zxvf VMwareTools-10.3.21-14772444.tar.gz注意这里版本不一样输入也不同

//从桌面进入vmware-tools-distrib文件夹并安装

Cd vmware-tools-distrib

Sudo ./vmware-install.pl

之后只需输入yes或者按Enter键即可。最后必须重启虚拟机,使VMware Tools的安装生效,并可以拖动一个文件到虚拟机来测试安装是否成功

  1. JDK的安装

先在Window环境下安装JDK,然后将安装文件拖到虚拟机

//安装JDK到/usr/local目录下

cd 桌面//进入桌面目录下

//将安装文件解压到/usr/local目录下

sudo tar -zxvf jdk-8u161-linux-x64.tar.gz -C/usr/local

在上述解压完成后还需要配置JDK在虚拟机的环境变量

//打开环境变量配置文件s

vim ~/.bashrc

sudo apt-get install vim//安装vim

vim ~/.bashrc 或者vim /home/hadoop/.bashrc进入bashrc

进入.bashrc后在文件末端输入

export JAVA_HOME=/usr/local/jdk1.8.0_161

export JRE_HOME=${JAVA_HOME}/jre

Export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$ PATH

检验source ~/.bashrc

Java -version

  1. IDEA+Maven的安装
    1. IDEA的安装

将window下载后的IDEA移到linux

sudo tar -zxvf ideaIC-2016.2.5.tar.gz -C/usr/local

cd /usr/local

sudo mv idea-IC-162.2228.15 idea2016

进入IDEA目录cd /usr/local/idea2016

./bin/idea.sh

vim ~/.bashrc进入文件后,在文件末端输入

IDEA_HOME=/USR/LOCAL/IDEA2016

PATH= $ {IDEA_HOME}/bin: $ PATH

启动IDEA  idea.sh

    1. Maven的安装

  将安装文件移动到linux终端

然后sudo tar -zxvf apache-maven-3.5.0-bin.tar.gz -C/usr/local

cd /usr/local

sudo mv apache_maven-3.5.0 maven

在安装完成文件后,将Maven的安装路径加到系统的环境变量

vim ~/.bashrc

MAVEN_HOME=/usr/local/maven

PATH= $ {MAVEN_HOME}/bin:$ PATH

然后检验是否成功 mvn -version

在通过 Maven 自动地从中央仓库中下载依赖的 jar 包时,下载的 jar 在本地存放的位置为本地仓库。人们可以通过配置 settings . xml 文件来修改本地仓库的路径。比如,将/home / hadoop 目录下的 maven_  localRepository 文件夹设置为本地仓库,则可以通过在 Maven 安装文件 conf 目录下的 settings . xml 文件中添加如下一行信息来实现。

  Maven 中央仓库往往都在国外,因此下载依赖的 jar 包时速度往往很慢。在这种情况下,可以改为从国内的 Maven 中央仓库的镜像(如阿里云的 Maven 镜像)去下载依赖包。这需要在 conf 目录下的 settings . xml 文件中添加如下的镜像信息。

< mirrors >

< mirror >

< id > alimaven </ id >

< name > aliyun maven </ name >

< url >https://maven.aliyun.com/repository/central</ url >

< mirrorOf > central </ mirrorOf >

</ mirror >

</ mirrors >

    1. IDEA项目中配置JDKMaven

当第一次启动 IDEA 进入欢迎页面之后,可以通过选择" Create Project "命令来创建个项目。当选择" Create Project "命令之后 会 在该界面中,们选择左侧列表中的 Maven 选项,创建 Maven 项目,然后单击右侧顶部的 Project SDK 下按钮,便可在下拉列表中选择所安装的 JDK 的位置。选择完成之后,单击" OK "按钮即完成项目中 JDK 的配置。

在配置完 JDK之后,单击" Next "按钮,在弹出的界面中会要求填写 Groupld 、 Artifac - tld 和 Version 信息,如图2-15所示。 Groupld 是创建这个项目的组织的标识。 ArtifactId 是这个项目产出的标识,一般是项目产生的 jar 包的名称。 Version 是 Artifact 的版本号。当输入默认的保存位置为当前用户的根目录。完这些信息之后,进一步输入项目的名称以及项目的保存位置,即完成了项目的创建。项目

在创建完项目之后,选择 IDEA 的" File "→" Settings "菜单命令,即可进入图2-16所示的 Maven 配置窗口。在该窗口的左侧输入栏中输入 maven ,窗口的右侧即会显示当前项目的 Maven 的设置信息。在这些信息中,我们需要修改窗口下部的 Maven home directory 、 Usersettings file 和 Local repository 这3个信息,将 Maven home directory 修改为所安装的 Maven 的路径,将 User settings file 修改为 Maven 安装文件 conf 目录中的 settings . xml 文件,将 Local repository 修改为所设置的本地仓库的路径。当修改完上述信息之后,单击" OK "按钮即完成项目中 Maven 的配置。在上述配置完成之后,在 IDEA 中进行的应用程序编写就是修改 pom . xml 文件以及在 main 目录下建立新的 class 文件。如果要进行单元测试,还需要在 test 目录下建立单元测试的 class 文件。

  1. Hadoop的安装
    1. SSH的安装

打开Linux终端

输入sudo apt-get install openssh-server  //安装SSH Server

ssh localhost  //登录localhost,第一次登录输入yes,并且登录时发现是需要密码的

exit  //注销,退出登录

cd  ~/.ssh  //进入用户根目录下的。ssh目录

ssh-keygen -t rsa   //生成密钥

cat ./id_rsa.pub >> ./authorized_keys  //追加到用户根目录

ssh localhost  //登录

  1. Hadoop的安装

Window下载后移到linux

sudo tar -zxvf hadoop-2.10.0.tar.gz -C/usr/local

cd /usr/local

sudo mv hadoop-2.10.0 hadoop//将安装文件重命名

sudo chown -R hadoop .Hadoop //赋予zylj用户使用当前目录下hadoop目录的权限

vim ~/.bashrc

//配置环境

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH :${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

hadoop -version

    1. 分布式环境配置

将如下命令输入到hadoop-env.sh文件

export JAVA_HOME=/usr/local/jdk1.8.0_161

  将如下命令输入到core-site.xml文件的<configuration>标签中

<property>

<name>hadoop.tmp.dir</name>

<value>file:/usr/local/hadoop/tmp</value>

<description>Abase for other temporary directories. </description>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

将如下命令输入到hdfs-site.xml文件中的<configuration>标签中

<property>

 <name>dfs.replication</name>

 <value>1</value>

</property>

<property>

 <name>dfs.namenode.name.dir</name>

 <value>file:/usr/local/hadoop/tmp/dfs/name</value>

</property>

<property>

 <name>dfs.datanode.data.dir</name>

 <value>file:/usr/local/hadoop/tmp/dfs/data</value>

</property>

调用如下命令对NameNode进行格式化。

hdfs namenode -format

在终端调用start-dfs.sh命令来启动HDFS,并通过jps命令来查看是否  启动出现“成功”界面说明安装成功

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值