Hadoop安装过程

Hadoop安装过程

一 、前置设置 使普通用户获得管理员权限

**
切换到管理员用户 打开/etc/sudoers
修改sudoers文件的权限 ---- chmod u+w /etc/sudoers
然后打开sudoers文件 ---- vim /etc/sudoers
复制第98行内容 到第99行并更改称自己的用户名 使用户拥有管理员权限 修改用户权限
在使用命令式 需要在特 权命令前加上sudo

二、配置网路连通

**
1、 在图形界面中,打开网络连接的有线设置->齿轮->ipv4->地址选择手动,填写网络信息就可以了。但是网络信息必须符合网络规则(编辑中有虚拟网络编辑器)。注意虚拟机的网卡物理地址要和电脑的网卡物理地址相同。设置网络
2、命令行操作时,打开 etc/sysconfig/network-scripts/ifcfg-ens33 文件 进行修改
vim etc/sysconfig/network-scripts/ifcfg-ens33修改网络配置
修改以下属性
BOOTPROTO=static
ONBOOT=yes
添加一下属性
添加以下配置
IPADDR=192.168.218.10(与物理机IP地址一致)
NETMASK=255.255.255.0
GATEWAY=192.168.218.2
DNS1=8.8.8.8
保存退出 重启网络设置 service network restart
3、可配置主机名和节点名与IP地址的对应关系
打开etc/hostname Sudo vim /etc/hostname
删除全部内容后 输入你的主机名 保存退出修改主机名
打开etc/hosts Sudo vim /etc/hosts确定主机名与IP地址的对应关系
在最后新建一行,添加以下内容
IP地址1 主机名1
IP地址2 主机名2
IP地址3 主机名3
确定IP地址与主机名的对应关系

4、关闭防火墙
使用Systemctl list-unit-files命令查看防火墙状态在这里插入图片描述
关闭防火墙 Systemctl stop firewalld.service
设置防火墙开机不自动启动 Systemctl disable firewalld.service在这里插入图片描述

三、设置ssh免密登录

**

首先生成公私钥 Ssh-keygen -t rsa设置ssh免密登录
打开用户目录下的.ssh目录 cd .ssh
将公钥文件拷贝成authorized_keys cp id_rsa.pub authorized_keys
验证 ssh 本节点主机名,若无需输入密码可直接登录则设置成功

四、jdk安装

**
复制jdk文件(.tar.gz格式)到用户目录下
在此目录下新建java目录,将安装包移动到该目录下解压 Tar zxvf 压缩包名
编辑用户目录下的.\bashrc文件 Vim ~/.bashrc
在正文的后面添加以下内容
Export JAVA_HOME=/home/y用户名/java/jdk
Export PATH= P A T H : PATH: PATH:JAVA_HOME/bin在这里插入图片描述
保存退出 让该文件立即生效 source ~/.bashrc
可用echo $PATH查看路径是否设置成功

卸载已有jdk(可选)
查询已安装包名中包含jdk的
rpm -qa |grep jdk
卸载方法
rpm -e 包名 --nodeps(忽略依赖关系)
使用java -version命令验证
如果显示版本号与安装版本号相同,则证明安装成功了设置环境变量

五、Hadoop的安装

**

首先将hadoop安装包复制到用户目录下,新建hadoop目录。将安装包移动到该目录下解压。(同jdk安装)
将hadoop根目录下的bin目录和sbin目录路径加入到PATH中
export JAVA_HOME=/home/ryan/java/jdk
export HADOOP_HOME=/home/ryan/hadoop/hadoop
export PATH= P A T H : PATH: PATH:JAVA_HOME/bin: H A D O O P H O M E / b i n : HADOOP_HOME/bin: HADOOPHOME/bin:HADOOP_HOME/sbin
hadoop安装
改完后,执行source命令令其立即生效
使用hadoop version验证是否成功

hadoop安装

六、Hadoop配置

**
在$HADOOP_HOME/etc/hadoop/目录下
需要配置以下文件
Hadoop-env.sh
export JAVA_HOME=/home/ryan/java/jdk
在这里插入图片描述

Yarn-env.sh
export JAVA_HOME=/home/用户名/java/jdk

在这里插入图片描述
Core-site.xml
在configuration标签中添加以下变量和值

fs.defaultFS
hdfs://主机名:9000


hadoop.tmp.dir
/home/用户名/hadoop/hadoop/tmp

要在hadoop目录下新建tmp目录
在这里插入图片描述

Hdfs-site.xml
(如果不设置该参数,则默认值为3)
dfs.replication
2

(如果不设置该参数,则默认值为 h a d o o p . t m p . d i r / d f s / n a m e ) &lt; n a m e &gt; d f s . n a m e n o d e . n a m e . d i r &lt; / n a m e &gt; &lt; v a l u e &gt; / h o m e / 用 户 名 / h a d o o p / h a d o o p / t m p / d f s / n a m e &lt; / v a l u e &gt; &lt; / p r o p e r t y &gt; &lt; p r o p e r t y &gt; ( 如 果 不 设 置 该 参 数 , 则 默 认 值 为 hadoop.tmp.dir/dfs/name) &lt;name&gt;dfs.namenode.name.dir&lt;/name&gt; &lt;value&gt;/home/用户名/hadoop/hadoop/tmp/dfs/name &lt;/value&gt; &lt;/property&gt; &lt;property&gt;(如果不设置该参数,则默认值为 hadoop.tmp.dir/dfs/name)<name>dfs.namenode.name.dir</name><value>/home//hadoop/hadoop/tmp/dfs/name</value></property><property>(hadoop.tmp.dir/dfs/data)
dfs.datanode.data.dir
/home/用户名/hadoop/hadoop/tmp/dfs/data

Mapred-site.xml

mapreduce.framework.name
yarn

在这里插入图片描述
Yarn-site.xml

yarn.resourcemanager.address
主节点名:8032

在这里插入图片描述
Slaves
在此文件中写明所有从节点的节点名,一行一个(如果为伪分布式部署,则默认localhost即可,无需更改)

最后格式化HDFS 命令 hadoop namenode-formad
在这里插入图片描述

在hadoop的bin目录下启动hadoop就可以了 start-all.sh
在这里插入图片描述

### 单机版 Hadoop 安装教程 以下是基于 CentOS 7 的单机版 Hadoop 安装指南,涵盖了环境变量设置以及核心配置文件的修改。 #### 环境准备 确保已安装 Java 开发工具包 (JDK),并验证其版本是否满足 Hadoop 要求。可以通过以下命令检查 JDK 是否正确安装: ```bash java -version ``` 如果未安装 JDK,则需先下载并安装适合系统的 JDK 版本[^1]。 --- #### 设置环境变量 编辑 `/etc/profile` 文件,在文件末尾追加如下内容以定义 Hadoop 和相关路径: ```bash export HADOOP_HOME=/home/hadoop/hadoop-3.4.0 export HADOOP_LOG_DIR=$HADOOP_HOME/logs export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 保存后执行以下命令使更改生效: ```bash source /etc/profile ``` 此操作会加载新的环境变量到当前 shell 中[^1]。 --- #### 编辑 Hadoop 配置文件 进入 Hadoop 配置目录(通常位于 `$HADOOP_HOME/etc/hadoop/`),依次完成以下几个主要配置文件的调整。 ##### 1. `hadoop-env.sh` 打开 `hadoop-env.sh` 文件进行编辑: ```bash vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh ``` 找到 `JAVA_HOME` 变量,并将其指向本地 JDK 的实际路径。例如: ```bash export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ``` 注意:具体路径取决于操作系统中 JDK 的安装位置[^2]。 --- ##### 2. `core-site.xml` 创建或更新 `core-site.xml` 文件的内容为: ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 此处指定默认文件系统 URI 为 `hdfs://localhost:9000`,其中端口号可以根据需求自定义[^2]。 --- ##### 3. `hdfs-site.xml` 对于单节点部署,建议将副本因子设为 1 并指明临时存储目录的位置。编辑 `hdfs-site.xml` 如下所示: ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/app/hadoop/tmp</value> </property> </configuration> ``` 以上配置明确了数据块复制次数及工作目录地址[^2]。 --- #### 启动服务 完成上述所有步骤之后,可以初始化 NameNode 并启动 HDFS 服务: ```bash $HADOOP_HOME/bin/hdfs namenode -format $HADOOP_HOME/sbin/start-dfs.sh ``` 通过浏览器访问 Web UI 页面确认集群状态,默认 URL 地址为 http://localhost:9870。 --- #### 测试运行 MapReduce 示例程序 为了验证安装成功与否,可尝试运行自带的例子之一——WordCount 应用程序: ```bash $hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output ``` 输入和输出路径应分别替换为你希望处理的数据集及其目标结果存放处。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值