创建可视化网页二 : 虚拟机创建及配置和 xshell,sftp连接和 jkd,hadoop的安装和配置

_小杜小杜_

已于 2024-06-05 13:59:32 修改

阅读量869

点赞数 25

分类专栏：数据动态可视化文章标签： hadoop 服务器大数据

于 2024-05-19 19:48:58 首次发布

本文链接：https://blog.youkuaiyun.com/m0_67466364/article/details/138562452

版权

数据动态可视化专栏收录该内容

6 篇文章

订阅专栏

一. 用VM搭建一台虚拟机

因为都是图片就不放在这篇文章了 , 详细步骤在链接中 : 用VM搭建一个虚拟机(详细步骤)

二. 虚拟机的配置

虚拟机网卡配置详述

1.配置网关 , 修改IP地址

// 进入文件夹
cd /etc/sysconfig/network-scripts
// 编辑ifcfg-ens33文件(有的是ifcfg-ens32)
vi ifcfg-ens33

// 需要修改的内容(后三项需要自己添加 , 内容为自己虚拟机的网关信息) :
bootproto = static
onboot = yes
IPADDR= //子网 IP(最后一位要写一个大于100的数)
NEWMASK= //子网掩码
GATEWAY= //网关

自己虚拟机的网关信息怎么找?

查看自己电脑的网关

在这里插入图片描述

2.修改dns

vi /etc/resolv.conf
// 内容 :
nameserver 8.8.8.8

在这里插入图片描述

3.重启网卡 , 让上面的两步配置生效

service network restart
然后ping一个网址 , 试试网卡配置是否生效
ping www.baidu.com

在这里插入图片描述

配置完网卡 , 就可以进行远程连接了

三. 连接xshell 和 xftp

在这里插入图片描述
双击刚刚配置的主机名为hadoop的主机进行连接

四. 安装jdk和hadoop

前期准备

在/usr下创建一个soft文件 , 在其中安装hadoop , jdk等程序
同上面的xshell连接虚拟机差不多 , 在xftp中连接hadoop主机 , 然后开始安装

开始安装jdk 和 hadoop

cd /usr/soft
tar -zxvf jar包名 //可以看见解压状态

简单整理一下
在这里插入图片描述

安装jdk

//解压安装包 (可以看见解压状态)
tar -zxvf jar包名
//配置环境变量
vi /etc/profile.d/java.sh

// java.sh 的内容:

	//java_home根据自己的路径配置即可  
		
	JAVA_HOME=/usr/soft/jdk  	
	PATH=$PATH:$JAVA_HOME/bin     	
	CLASSPATH=$CLASSPATH:$JAVA_HOME/lib   	 
	export JAVA_HOME PATH CLASSPATH

//执行java.sh文件,让其生效
source /etc/profile.d/java.sh

//检查是否配置成功
java -version //(如果出来版本信息证明配置成功)

安装hadoop

//解压安装包 (可以看见解压状态)
tar -zxvf 文件名
//配置环境变量
vi /etc/profile.d/hadoop.sh

//hadoop.sh 的内容

//hadoop_home 根据自己的路径配置即可

HADOOP_HOME=/usr/soft/hadoop  
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 
export HADOOP_HOME PATH

//执行hadoop.sh文件
source /etc/profile.d/hadoop.sh

//检查是否配置成功
hadoop version
(如果出来版本信息证明配置成功)

五. 修改主机名

vi /etc/hostname

//内容改为自己想要命名的主机名如 :

hadoop

//然后重启 , 让修改生效
reboot

在这里插入图片描述

六. 修改一下ip地址

//在 hosts文件中添加自己的 “主机名 ip地址”
vi /etc/hosts

在这里插入图片描述

七. nodepad++ 连接虚拟机

为了方便配置文件 , 先来用nodepad++连接下虚拟机

首先 , 需要添加NppFTP插件
添加虚拟机的信息

在这里插入图片描述

在"羽毛"这就能找到刚刚配置的虚拟机 , 点击即可连接

八. 修改四个hadoop相关配置文件

配置core-site.xml文件

core-site.xml文件中包含如读/写缓冲器用于Hadoop的实例的端口号的信息，分配给文件系统存储，用于存储所述数据存储器的限制和大小.

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://主机名:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/hadoop/tmp</value>
	</property>
</configuration>

配置hdfs-site.xml文件

hdfs-site.xml
文件中包含如复制数据的值，NameNode路径的信息，，本地文件系统的数据节点的路径。这意味着是存储Hadoop基础工具的地方.

<configuration>
	<property>
		<name>dfs.replication</name>  
		<value>1</value>  
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/hadoop/tmp/dfs/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/hadoop/tmp/dfs/data</value>
	</property>
	<property>
		<name>dfs.permissions.enabled</name>
		<value>false</value>
	</property>
</configuration>

配置mapred-site.xml

将mapred-site.xml.template 复制一份改名为 mapred-site.xml
[root@hadoop hadoop]# cp mapred-site.xml.template mapred-site.xml

<configuration>
  <property>  
    <name>mapreduce.framework.name</name>  
    <value>yarn</value>  
  </property>  
</configuration>

配置yarn-site.xml文件

<configuration>
	<property>  
		<name>yarn.nodemanager.aux-services</name>  
		<value>mapreduce_shuffle</value>  
	</property>  
</configuration>

九. 启动hadoop

格式化namenode

hadoop namenode -format //格式化namenode

如果格式化namenode有问题,请看namenode格式化问题(namenode启动不起来,datanode启动不起来)

启动hadoop

start-all.sh //启动所有进程
stop-all.sh //关闭所有进程
jps //查看进程
有以下五个进程说明搭建成功
5301 Jps
4598 DataNode
4760 SecondaryNameNode
4474 NameNode
4910 ResourceManager
5006 NodeManager

在start-all.sh或stop-all.sh时 , 会有让你输入密码的情况 , 如下 :
在这里插入图片描述
解决办法 :
(1) 输入你虚拟机的秘密

(2) 安装ssh

yum -y install openssh-clients openssh-server
生成公钥和私钥
ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa （注意 p是大写）
进入目录 # cd ~/.ssh
将公钥导入到秘钥库其实就是个复制文件
# cp id_rsa.pub authorized_keys
# 测试
# ssh localhost 如果不用再输入密码了则成功