大数据环境搭建1：apache hadoop环境搭建（centos7）

最新推荐文章于 2023-06-29 17:17:05 发布
原创 最新推荐文章于 2023-06-29 17:17:05 发布 · 552 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了在CentOS7上搭建Apache Hadoop 2.7.7集群的步骤，包括集群规划、主机名和IP设置、防火墙与Selinux关闭、JDK安装、SSH免密登录、Hadoop的下载、安装、配置及启动，以及集群监控等。

1. 集群规划 

2. 修改主机名（三台机器）

3. 设置ip地址 （如果有图形界面，可以直接通过图形界面进行设置，三台机器） 

4. 配置主机名映射(三台机器) 

5. 关闭防火墙和selinux（三台机器） 

6. 安装jdk（略） 

7. 拍摄快照，方便日后重新搭建环境 

8. 配置ssh免密码登录 

9. 下载apache hadoop2.7.7 

10. 解压安装hadoop 

11. 配置hadoop环境变量 

12. 修改hadoop-env.sh配置文件 

13. 修改core-site.xml 

14. 配置hdfs-site.xml 

15. 配置mapred-site.xml 

16. 修改yarn-site.xml 

17. 拷贝hadoop安装文件夹到从机 

18. 主节点配置slave 

19. hadoop格式化 

20. hadoop启动 

21. 使用jps查看java进程 

22. 使用浏览器访问hadoop集群和yarn 

23. 停止hadoop 

24. 拍摄虚拟机快照，方便进一步在此基础上进行环境搭建 

25. 文档说明： 

 

  1. 集群规划

主机

cpu核数

内存

ip

每个节点安装的服务

master

1

3g

192.168.108.10

namenode, secondnamenode,datanode,resourcemanager,nodemanager,JobHistoryServer

slave1

1

2g

192.168.108.11

datanode, nodemanager

slave2

1

2g

192.168.108.12
最低0.47元/天 解锁文章
Linux大数据开发centos7中的hadoop完全分布式开发环境搭建
hair请的的博客
10-12 428
主机名: lky01 lky02 lky03 Hadoop安装包版本： hadoop-2.7.5.tar.gz 解压安装包 tar -zxvf hadoop-2.7.5.tar.gz -C /opt 重命名解压出来的安装包 mv hadoop-2.7.5.tar.gz hadoop 添加Hadoop环境变量 vi /etc/profil.d/hadoop-etc.sh export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP
【大数据环境搭建（一）】VMware虚拟机安装Centos7详细教程
Feng-licong
07-19 978
【大数据环境搭建（一）】VMware虚拟机安装Centos7详细教程准备一、VMware下载及安装下载安装VMware二、Centos7安装Centos7镜像下载Centos7安装总结后续 准备 此教程所用的配置如下： VMware-workstation-full-16.1.2-17966106.exe CentOS-7-x86_64-Minimal-1804.iso 备注：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 一、VMware下载及安装 下载 下载地址
基于Centos 7 准备 大数据环境的前奏
weixin_45417821的博客
02-07 1084
其实以前做 Centos 6 做习惯了，但是今天才知道，原来Centos 6 在 去年年底已经停止维护和更新了，不得不开始学习Centos 7 环境 时间命令 （原始） [luanhao@localhost ~]$ timedatectl set-ntp no [luanhao@localhost ~]$ timedatectl set-time "2021-02-05 20:12:30" [luanhao@localhost ~]$ date 1）准备三台虚拟机，虚拟机配置要求如下：（这里只配置单台）
虚拟机CentOs的安装及大数据的环境搭建
tsxylhs的博客
07-13 277
虚拟机CentOs的安装及大数据的环境搭建 大数据问题汇总 1.安装问题 1.安装步骤，详见文档《centos虚拟机安装指南》 2.vi编辑器使用问题，详见文档《linux常用命令.pdf》 3.网络中继更改问题 命令： ...
大数据环境搭建-----虚拟机下Linux-----CentOS 7 安装详解
皇棠
05-26 869
本文讲解如何在虚拟机里安装Centos7 虚拟机版本:VM15 第一步:下载Centos镜像: https://www.centos.org 第二步:选择镜像 第三步:选择镜像 第四步到第十步:VM环境的准备 第五步 第六步: 第七步: 第八步 第九步 第十步: 开始安装啦啦啦啦啦啦!!! 进去后选择install Centos如果不会选,那么就: 等待一会! 等待...
Apache Hadoop HA集群环境搭建
猫君之上的博客
03-27 266
NameNode 做了HA，ResourceManager也做了HA 1.HA集群节点概览 电脑配置不够，所以NameNode所在节点上装了DataNode,实际开发搭建的话，NameNode所在节点上不要放DataNode 注意：此处不说zookeeper的部分，上篇文章 https://blog.youkuaiyun.com/qq_33713328/article/details/88854991...
Apache版hadoop环境搭建（伪分布式）
I.E.船长的远航之路
12-05 409
环境准备：一：安装linux系统CentOS-6.5-x86_64-bin-DVD1.iso二：创建用户hadoop三：配置网络 SCRT访问步骤：一：修改主机名/etc/hosts —>hadoop1 /etc/sysconfig/network —hadoop1重启……reboot二：关闭防火墙service iptables stop 关闭 (service iptables st
CentOS7搭建大数据环境之路（四）------安装Kafka
Odd Man
05-12 336
前言 就是记录在CentOS上安装Kafka的步骤。 步骤 步骤一、安装 下载地址 http://mirror.bit.edu.cn/apache/kafka/2.5.0/kafka_2.13-2.5.0.tgz 传到服务器|直接在服务器下载 方式一、上传到服务器 cd /app rz 选择上传文件即可 方式二、直接在服务器下载 wget http://mirror.bit.edu.cn/apache/kafka/2.5.0/kafka_2.13-2.5.0.tgz 解压 tar zxvf kafka
CentOS7搭建大数据环境之路（二）------安装Hadoop
Odd Man
03-25 453
前言 就是记录在CentOS上安装Hadoop的步骤。 步骤 步骤一、安装 下载地址 https://downloads.apache.org/hadoop/common/hadoop-3.2.1/ 传到服务器 mkdir /app rz 选择上传文件即可 解压 tar -zxvf hadoop-3.2.1.tar.gz 安装目录 /app/hadoop-3.2.1 步骤二、配置 JDK ...
Apache Hadoop的安装与配置
weixin_30924239的博客
07-21 207
Hadoop很火，不学不好意思。由于资料很多、书籍很多。本文简略介绍。 1.安装ubuntu(或其他linux操作系统，或虚拟机上安装) 2.安装jdk，并配置环境变量 3.下载hadoop，解压。（http://hadoop.apache.org/，我下载了0.20.2） 4.伪分布模式配置 伪分布的Hadoop是只有一个节点的集群。在这个集群中，当前计算机既是master也...
大数据环境安装部署说明文档
03-25
部署项目所需的Hadoop集群环境。包括分布式文件系统HDFS,分布式应用程序协调服务器Zookeeper,分布式发布订阅消息系统Kafka,关系型数据库MYSQL,基于Hadoop和MYSQL的数据仓库引擎Hive,Hadoop与结构化数据存储之间的数据转换工具Sqoop和计算引擎Spark。
大数据基础环境搭建
普通Gopher
10-13 834
实验环境: Centos7 Xshell 安装包版本: hadoop-2.7.3.tar.gz apache-hive-2.1.1-bin.tar hbase-1.2.4-bin.tar.gz jdk-8u171-linux-x64.tar.gz mysql-connector-java-5.1.47-bin.jar scala-2.11.12.tgz spark-2.4.0-bin-had...
hadoop运行环境搭建
yxb666888的博客
09-23 949
部署hadoop集群环境查阅了很多同仁写的资料，对我搭建成功帮助很大，因此也分享出我总结的资料，希望对新人有帮助。另外，在阅读中有不明白的请加我qq，一起探讨。
Hadoop离线_Apache Hadoop的三种运行环境介绍及环境搭建
weixin_44449054的博客
09-28 1059
文章目录1 三种运行环境介绍2 standAlone环境搭建2.1 下载apache hadoop并上传到服务器2.2 修改配置文件2.2.1 修改core-site.xml文件2.2.2 修改hdfs-site.xml文件2.2.3 修改hadoop-env.sh文件2.2.4 mapred-site.xml文件2.2.5 yarn-site.xml文件2.2.6 修改slaves文件2.3 创建数据存放目录2.4 启动集群2.5 登陆 1 三种运行环境介绍 standAlone环境 单机版的hadoo
从零搭建大数据集群（Apache 版本/CDH）
GitChat
03-18 835
如果你没有接触过大数据，或搭建大数据集群 的过程中遇到了一些问题。看完本 Chat 后，你将会明白如何搭建 Apache 版本的 Hadoop 集群以及 CDH 版本的大数据集群。 本场 Chat 内容： 安装 Linux 系统，配置简单环境； 修改主机名和 IP 映射关系； 配置服务器相互 SSH 免密码访问； 搭建 Apache 版本的 Hadoop 集群（从零开始），包括 Zookeepe...
大数据学习1-Apache的hadoop-独立模式搭建
展信佳，当你看到这段简介的时候，我“风吹海洋浪”已走马上任优快云博客平台。我来这只办一件事：致力于将模糊的概念清晰化，技术的语言通俗化，复杂的关系逻辑化，孤岛的知识碎片结构化，让我一心和技术大佬们共同进步，最重要的是！！！！！忘记【你】
04-09 413
继Linux 基础篇之后： 关系型数据库无法处理海量级别（TB等）的数据 引出 大数据 大数据是什么：海量数据量 （特点：（4v） 大量（存储单元Tb） 多样（大数据的数据：人脸识别 指纹识别图片视频等） 高速（实时分析） 价值（价值密度低， ）） Hadoop：分布式计算： 一台机器就是一个服务器 磁盘有限所以存储有限====》改变为数据存储到不同的服务节点...
从事大数据岗位，个人常用的Apache顶级项目
小数志
03-07 569
导读年前，个人换了大数据岗位，目前主要从事大数据分析和大数据算法相关工作。在前期数据分析师岗位的基础上，虽然只是增加了一个"大"字作为前缀，但所涉及的技术栈和工作理念其实还...
Hadoop环境搭建
美国梦中国心
06-29 8615
Hadoop是一个由Apache基金会所创建的分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题，从广义上来说hadoop是数据存储分包器，可以存储大量的数据。
高效的大数据开发环境搭建及实战
dongdouzin的博客
04-05 8781
 内容大纲： 一、开发环境准备1. IDE开发工具选择及安装2. Java SDK版本选择及安装3. Spark开发语言 版本选择及安装4. 下载Spark的安装程序5. 安装Maven6. 安装sbt7. IDE的插件选择、安装及配置 二、从零开始创建第一个Spark程序 － HelloSpark1. 创建Scala工程2. 添加Spark依赖的jar包3. 修改工程pom文件，并更新依赖包4....
大数据平台搭建教程：Hadoop生态系统实践
"搭建大数据平台的教程，涵盖了Hadoop生态系统的多个组件，包括Hive的离线分析、Storm的实时分析以及Solrcloud和Hbase的搜索架构。教程还涉及到集群的基础平台搭建，使用了如Hadoop HA、Storm、Kafka、Flume等技术，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值