虚拟环境下搭建hadoop之一——搭建前的准备

最新推荐文章于 2024-09-07 14:29:42 发布
最新推荐文章于 2024-09-07 14:29:42 发布
阅读量660 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据与云计算 文章标签： hadoop 虚拟环境 centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/liu_005/article/details/50297665
本文详述了初学者在虚拟环境中搭建Hadoop集群的前期准备，包括使用VMware Workstation 12 Pro创建CentOS6.7虚拟机，配置网络、主机名，设定IP地址，以及配置hosts文件和免密登录。通过这些步骤，为后续Hadoop安装和集群配置打下基础。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这是本人初学搭建hadoop的配置步骤，比较适合新手参考，高手可帮忙矫正此文，不甚感激。

实验环境说明：使用的虚拟机软件是VMware Workstation 12 Pro
虚拟机操作系统版本是CentOS6.7
JDK版本是jdk-7u79-linux-x64.rpm
hadoop版本是hadoop-1.0.0.tar.gz
（如果需要以上文件，可留言与本人联系）

1 环境说明
集群包括3个节点，这个三个节点是用户名为hadoop-un的安装有CentOS6.7系统的虚拟机，这里虚拟机的安装过程略去。三个节点中，1个master节点，2个slave节点，节点之间通过局域网连接，可以相互ping通。节点IP地址设置如下：
这里写图片描述
master主机主要配置Namenode和JobTracker的角色，负责总管分布式数据和分解任务的执行；2个slave主机配置Datanode和JobTracker的角色，负责分布式数据存储以及任务的执行。
2 网络配置
2.1 修改主机名
这里以master主机为例说明网络配置过程，另外两个主机的配置过程与master的配置过程相同。为了方便管理使用，先修改主机的hostname。
先通过如下命令查看当前主机名：
这里写图片描述
如果当前主机名与规划的主机名不一致，可以修改/etc/sysconfig/network文件中”HOSTNAME”来使主机名与规划的相一致。修改命令如下：

最低0.47元/天 解锁文章

200万优质内容无限畅学
Hadoop运行环境搭建
fanday的博客
11-21 1666
目录Hadoop运行环境搭建虚拟机网络模式设置为NAT克隆虚拟机修改为静态ip修改主机名关闭防火墙在opt目录下创建文件安装jdk安装HadoopHadoop运行模式本地运行Hadoop 案例官方grep案例官方wordcount案例伪分布式运行Hadoop案例启动HDFS并运行MapReduce程序YARN上运行MapReduce 程序配置临时文件存储路径配置历史服务器配置日志的聚集配置文件说明...
Hadoop搭建————搭建前的准备
weixin_45942827的博客
06-22 1144
虚拟机IP的设置 JDK的安装 Hadoop的安装 常用快捷键
hadoop虚拟机环境搭建图文讲解(一)
qq_37572721的博客
05-13 729
hadoop环境 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 1.创建虚拟机 这里我用的是VMwareWorkstation pro 首先创建虚拟机 ，选择典型，因为我懒得弄高级那么多的东西，所以直接选择典型 点击下一步之后选择稍后安装系统，这里后续可以设置...
hadoop学习-虚拟机环境搭建
mlx1016的博客
06-01 219
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 加粗样式 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何
Hadoop 环境搭建
老猫喜欢今日爬山的博客
02-01 1862
1各个模块分开启动/停止（配置ssh是前提）常用（1）整体启动/停止HDFS（2）整体启动/停止YARN2各个服务组件逐一启动/停止（1）分别启动/停止HDFS组件（2）启动/停止YARN。
虚拟机环境+Hadoop环境搭建
m0_51537642的博客
08-04 3364
虚拟机环境+Hadoop环境搭建
虚拟环境下搭建hadoop之三——启动hadoop并简单实验
一亩三分地
12-30 2383
7 验证配置 7.1 格式化HDFS文件系统 只需要在安装完成时格式化一次即可，以后不用再格式化。格式化命令如下： 这里需要注意运行命令的路径。如果运行时提示找不到命令，可以尝试使用”bin/Hadoop namenode -format”命令。   7.2 启动hadoop 在启动之前最好先关闭防火墙，命令如下： 使用”start-all.sh”命令启动hadoop，启动结
虚拟环境下搭建hadoop之二——安装JDK和hadoop
一亩三分地
12-28 883
这是本人初学搭建hadoop的配置步骤，比较适合新手参考，高手可帮忙矫正此文，不甚感激。实验环境说明：使用的虚拟机软件是VMware Workstation 12 Pro 虚拟机操作系统版本是CentOS6.7 JDK版本是jdk-7u79-linux-x64.rpm hadoop版本是hadoop-1.0.0.tar.gz （如果需要以上文件，可留言与本人联系） 【以下编号接上一
虚拟化与云计算课程实验报告——Hadoop平台搭建.doc
最新发布
06-24
在虚拟机中搭建Hadoop集群的过程中，首先需要进行Hadoop的安装。安装完成后，需要对Hadoop进行配置，这包括编辑Hadoop配置文件，设置NameNode、DataNode以及配置文件系统等。 4. 启动和运行Hadoop集群。完成配置后...
虚拟机中Hadoop分布式环境搭建
qqliang1314的专栏
01-21 697
Hadoop分布式搭建步骤： 一、克隆虚拟机，配置IP网卡主机映射。 1,克隆之前先把目标虚拟机hadoop目录下share目录下的doc文档目录删掉，在share目录下执行命令 rm –rf doc  ,可以减少复制时间，克隆时一定要是关机状态。 注意：绝大部分操作都是在普通用户下， 修改系统配置的操作如关闭防火墙，改主机名等是在root用户下操作。 克隆完成后修改主机名，IP地址，网卡
hadoop集群搭建(超级详细)
10-11
超详细集群搭建教程(从虚拟机安装到集群搭建完成，集群搭建成功验证)，每一个步骤都有，照做即可。 内有集群搭建所需安装包：hadoop2.2.0，zookeeper3.4.5
Hadoop (三) --------- Hadoop 运行环境搭建 (虚拟机)
在森林里麋了鹿
07-11 2840
Hadoop 运行环境配置
使用虚拟机搭建Hadoop（伪分布式搭建、分布式搭建）
weixin_48435461的博客
01-01 9047
学了一个学期的Hadoop，终于把这块大骨头啃掉了，泪目！！！ 这篇文章更像是一个学习Hadoop的总结 Hadoop伪分布式、分布式搭建一、准备工作1、hadoop压缩包2、jdk压缩包3、Xshell4、Xftp5、VM虚拟机二、Hadoop伪分布式1、安装Java2、配置环境变量3、安装Hadoop4、格式化NameNode5、配置Hadoop、start-dfs.sh和start-yarn.sh环境变量6、启动Hadoop7、通过Web端口访问HDFS三、Hadoop分布式0、安装Java1、修改
1.Hadoop环境搭建之配置虚拟机环境
2401_83253656的博客
09-07 1214
(1)使用如下命令可以为本服务器生成公钥(id_dsa.pub)和私钥(Id_dsa),要求输入passphrased的时候直接敲回车：ssh-keygen -t dsa -f ~/.ssh/id_dsa。（3）使用scp命令，将主服务器的公钥文件id_dsa.pub复制到从服务器上，并命令为server-1.pub（此文件名可以自己随意起）scp ~/.ssh/id_dsa.pub。输入此命令后，会要求输入s1服务器的root账号密码，输入密码即可。我这里添加了三个，第一个主机，后两个从机。
hadoop学习环境搭建
weixin_39114599的博客
10-19 473
环境搭建 1，需要的软件 虚拟机（VMWare、VirtualBox。。。）、centos、hadoop、jdk、xshell(xftp) 2，安装虚拟机 1）安装虚拟机软件：我用的是VirtualBox(VirtualBox-5.1.18-114002-Win.exe)，全下一步，傻瓜式安装。 2）创建裸机：打开VirtualBox-新建-（填写名称、选择系统）-全下一步，裸机创建完成
关于搭建大数据Hadoop运行环境搭建之虚虚拟机环境准备
上白书妖
07-08 412
大家好, 我是上白书妖! 知识源于积累,登峰造极源于自律 今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正 本文是对大数据学习时使用非root账户的一个更改账户的一个操作,用于模拟 非root账户下的更真实的企业大数据模拟环境 虚拟环境准备 1. 克隆虚拟机 2. 修改克隆虚拟机的静态IP 3. 修改主机名 4. 关闭防火墙 5. 创建atguigu用户 6. 配置atguigu用户具有root权限 步骤顺序如图所示: 一: 二: 三: 四 五:
Hadoop分布式搭建（虚拟机）001
qq_41733481的博客
03-30 337
本文由博主--Bear Wang 手敲，如有雷同，不胜荣幸。 欢迎指错！ 博主QQ759502416 答案 ：王胡雄 1.修改ip，关闭防火墙（主机和虚拟机都关闭）使虚拟机能ping同主机 2.修改主机名以及映射 1） sudo vim /etc/hostname 2) sudo vim /etc/hosts （将所有的域名和映射都写到文件中） 3.解压JD...
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 5万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
hadoop环境搭建（一）：环境准备
weixin_41765352的博客
11-30 1505
近期，学校开始了大数据课程，带着学生从零到有一步一步架设大数据集群，现将具体步骤记录，以便更多初涉大数据的小白们有个参考，欢迎评论区留言讨论。
在vm虚拟机中搭建Hadoop和hive
12-27
### 安装和配置Hadoop #### 准备工作 为了在VM虚拟机环境中成功安装和配置Hadoop，需确保操作系统已准备好。对于本案例中的`hadoop2`主机为例，建议使用CentOS 7作为基础操作系统[^1]。 #### 下载与解压Hadoop 下载适合版本的Hadoop压缩包至本地计算机，并将其传输到目标虚拟机中。之后通过SSH登录到该虚拟机并进入文件所在路径执行如下命令来解压： ```bash tar -zxvf hadoop-x.x.x.tar.gz -C /usr/local/ ``` 这里假设将Hadoop放置于`/usr/local/`目录下；其中`x.x.x`代表具体版本号，请替换为实际数值。 #### 设置环境变量 编辑全局环境变量文件使系统能够识别Hadoop命令。这可以通过修改`/etc/profile`实现: ```bash vim /etc/profile ``` 向文件末尾追加以下内容以便设置必要的环境变量： ```bash export HADOOP_HOME=/usr/local/hadoop-x.x.x export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 保存更改后运行下面这条指令让新的环境变量生效： ```bash source /etc/profile ``` #### 修改Hadoop配置文件 接下来要调整几个重要的XML配置文件以适应集群需求。这些文件位于`${HADOOP_HOME}/etc/hadoop/`目录内。主要涉及的是`core-site.xml`, `hdfs-site.xml`, 和 `yarn-site.xml`. ##### core-site.xml 定义NameNode地址以及默认FS URI等基本信息： ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://namenode:9000</value> </property> </configuration> ``` ##### hdfs-site.xml 指定DataNodes存储数据的位置以及其他参数： ```xml <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <!-- 更多属性... --> </configuration> ``` ##### yarn-site.xml 用于YARN框架的相关设定： ```xml <configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>resourcemanager-hostname</value> </property> <!-- 更多属性... --> </configuration> ``` 完成上述操作后重启所有服务使得新配置被加载应用。 --- ### 安装和配置Hive #### 安装MySQL数据库 由于Derby数据库无法满足多客户端并发访问的要求，因此推荐采用更强大的关系型数据库管理系统——MySQL作为元数据仓库。按照官方文档或其他可靠资源指导完成MySQL服务器端软件包的安装过程[^2]。 #### 解压Hive分发版 获取最新稳定发行版并将之上传到Master节点上的某个位置（比如`/usr/hive-4.0.1/`)。接着利用Linux tar工具解开归档文件： ```bash tar -xzvf apache-hive-x.y.z-bin.tar.gz -C /usr/ ``` 同样地，记得更新`.bashrc`或相应shell初始化脚本来包含Hive相关的环境变量声明： ```bash export HIVE_HOME=/usr/apache-hive-x.y.z-bin export PATH=$PATH:$HIVE_HOME/bin ``` 再次调用`souce ~/.bashrc`刷新当前会话内的可用命令列表。 #### 初始化Metastore Schema 首次启动之前应当创建好所需的表结构。切换到Hive根目录并通过JDBC连接器指向外部RDBMS实例执行DDL语句集： ```sql schematool -dbType mysql -initSchema ``` 此命令将会读取内置SQL模板并在远程MySQL Server里构建起完整的模式架构。 #### 编辑hive-site.xml 最后一步就是定制化核心选项集合了。打开`${HIVE_HOME}/conf/hive-site.xml`进行必要项填写，特别是关于JDBC URL、用户名密码等方面的信息： ```xml <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true&useSSL=false</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.cj.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>your_username</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>your_password</value> </property> </configuration> ``` 至此整个流程结束，现在应该可以在分布式计算平台上顺利运行MapReduce作业并且借助HiveQL查询分析大规模半结构化乃至非结构化的海量资料啦！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值