Hadoop完全分布式环境搭建(一)——Linux系统安装及JDK安装

史上最详细的Hadoop环境搭建,从0开始,图解全部过程 Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,决定在大数据技术道路上走多远。 这是一篇入门文章,Hadoop的学习方法很多,网上也有很多学习路线图。本文的思路是:以安装部署Apache Hadoop2.x版本为主线,来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的,通过安装认识Hadoop才是目... 阅读详情

一、创建3台主机

1.安装虚拟机:VMwareStation

2.新建3台服务器,并进行主机名和网络配置

1)打开VmwareStation,点击新建虚拟机->下一步->稍后安装操作系统->下一步选择Linux,centos->下一步,设置虚拟机名字和位置->下一步选一个处理器一核就行->内存最少1G->网络设置先选择net模式,后期可以设置->控制器磁盘都选择默认->创建虚拟磁盘


下一步->自定义硬件,去掉声卡和打印机,其余默认,完成

2)目前为止新建了一个空壳虚拟机,接下来设置系统

右键新建的虚拟机,设置,点击CD/DVD,添加centos镜像文件


3)开启虚拟机

鼠标点击虚拟机,进去以后无鼠标,(ctrl+alt释放鼠标)选项第一个确认->是否检测硬件,跳过就行->语言尽量使用英语


->下一步主机名,网络设置先默认,后期修改->设置root用户密码(123456)->选自定义布局


新建分区,(根目录选择第三个),分完区是如下状态:


接下来选format,write change to disk.下一步->选择现在自定义软件->选择langauge->支持中文,后面一路下一步


装好重启

4)配置

3台服务器的主机名和IP对应如下表:

主机名ip安装的软件功能
master192.168.1.111jdk、hadoopnamenode、datanode 、ressourcemanager、nodemanager
slave1192.168.1.112jdk、hadoop

                                                        datanode

slave2192.168.1.113jdk、hadoopdatanade

  • 网络设置  :界面化下:编辑->虚拟网络编辑器->更改设置->选择NAT模式->设置网段为192.168.1.0->点击NAT设置,设置网关为192.168.1.2->接下来配置各自的地址(暂时没有配置DNS,若想要访问外网,则必须配置)相互之间ping通就完成了网络配置

       连接外网:命令:vi /etc/hosts,修改映射

       

       修改网卡信息:添加DNS:vi /etc/sysconfig/network-scripts/ifcfg-eth0

       

  • 主机名修改:命令:vi /etc/sysconfig/network,修改其中"HOSTNAME"后面的值,改成规定的名称。重启系统,修改主机名完成。

     命令:vi /etc/hosts)在所有的机器上的"/etc/hosts"文件中都要添加如下内容:

      

      互相之间使用:ping 主机名 相互通信

          

         为了提高运行效率,取消Linux的界面:vi /etc/inittab,将最后一行默认启动5改成3  退出编辑

         reboot重启系统,连接网络:ifup eth0,然后连接Xshell。


(下载工具xshell和xftp来进行windows和Linux之间文件传送。)

二、安装JDK及配置环境

1.将文件上传到linux系统

命令:mkdir app 新建一个文件夹用来存储所有Hadoop所需文件

2.解压文件

命令:tar -zxvf jdk-7u76-linux-x64.tar.gz -C app/  解压到app文件夹中

3.配置环境

命令:sudo vi /etc/profile     进入配置页面   ->按shift+g 跳到文件最后一行-> 按a插入->添加

export JAVA_HOME=/root/app/jdk1.7.0_76

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

->按esc->:wq

命令: source /etc/profile执行文件,jdk安装完成。


hadoop - 环境搭建(安装JDK+安装hadoop+配置本地模式) 安装JDK a) 下载jdk-8u65-linux-x64.tar.gz b)上传并tar开 $ cd ~ $ mkdir downloads c)利用FileZilla把jdk-8u65-linux-x64.tar.gz上传到~/downloads/目录下 $ cd ~/downloads/ $ cd ls $ tar -zxvf jdk-8u65-linux-x64.tar.gz d... 阅读详情

相关推荐

【Linux】—Hadoop运行环境搭建(完全分布式)

【Linux】—Hadoop运行环境搭建(完全分布式)

sodaloveer的博客 2171

搭建hadoop集群常见坑:hadoop集群中namenode启动不起来的成因和二种解决方法

hadoop集群中namenode启动不起来如何解决 新手在初次搭建hadoop集群中经常遇到namenode或者databode启动不起来,大概率是因为多次格式化NameNode造成的。 因为每格式化一次NameNode,就会产生新的集群id,导致NameNode和DataNode的集群id不一致,最终启动不起来namenode。有二个解决方法: 第一种.删除原目录,先删除data文件和logs日志文件夹,然后再格式化NameNode。data文件的路径在core-site.xml下配置的h..

zyz的博客 5845

VMware 虚拟机 +安装linux +搭建Hadoop

1、首先下载VMware 虚拟机,VMware Workstation 12.0.0 Pro 正式版下载地址如下: http://www.qiankoo.com/thread-3990-1-1.html2、接着下载linux套件,比如说unbutu,稳定的版本推荐14.10 直接在官网下载即可,地址: http://ubuntu-china.cn/download 找个符合自己的版本,先下载

哆啦A梦的博客 1万+

Linux搭建完全分布式

@[TOC](完全分布式搭建过程) 准备工作:安装好三台虚拟机(node01,node02,node03),hadoop安装包,zookeeper安装包,jdk安装包 首先:进入虚拟机的root用户(su root) 在三台虚拟机上完成这些配置: 1:网络配置(ifcfg-ens33) vi /etc/sysconfig/network-scripts/ifcfg-ens33 进入设置ip地址,修改配置文件 填入VM生成好的网关地址: 2:主机名配置 (hostname) vi /etc/hostn

qq_43917601的博客 1589

史上最详细的Hadoop环境搭建

GitChat 作者:鸣宇淳原文:史上最详细的Hadoop环境搭建关注公众号:GitChat 技术杂谈,一本正经的讲技术【不要错过文末活动哦】前言Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。这是一篇入门文章,Hadoop的学习方法很多,网上也有很多学习路线图。本文的思路是:以安装部署A

霍力强的专栏 45万+

RAGFlow API 实战指南:从数据集管理到智能对话

本文提供了RAGFlow API的实战指南,详细介绍了如何从零开始构建基于检索增强生成(RAG)的智能应用。内容涵盖环境准备、API密钥获取、核心概念理解,以及通过API进行数据集创建与管理、文档上传解析、知识块管理、检索测试,最终创建并配置智能聊天助手,实现基于私有知识库的精准对话。

weixin_29284885的博客 379

Hadoop分布式(最小集群)搭建(三台虚拟机)

三台虚拟机分布式搭建Hadoop

m0_51972565的博客 3815

新手入门:从零开始学习PCB飞针测试全流程(附常见问题解答)

本文详细介绍了PCB飞针测试的全流程,从核心原理、设备解析到实操步骤和常见问题解答,帮助新手快速掌握这一电子制造领域的关键质检技术。内容涵盖测试资料准备、参数设置、设备操作技巧以及故障排查方法,特别适合小批量PCB生产的质量检测需求。

weixin_29295541的博客 388

利用ZooKeeper框架在Vmware虚拟机中搭建3台Linux分布式集群

利用ZooKeeper框架在Vmware虚拟机中搭建3台Linux分布式集群

虎鲸不是鱼 3911

基因树构建全流程:从OrthoFinder到iTOL的保姆级教程(附兰科植物案例)

本文提供了一份从OrthoFinder到iTOL的基因树构建全流程保姆级教程。详细解析了利用OrthoFinder构建物种树、IQ-TREE构建无根基因树、Notung进行树调和生根,以及最终在iTOL中实现专业可视化的每一步操作与实战经验,并以兰科植物NB-ARC基因家族为例进行演示,帮助研究者系统掌握基因树分析方法。

tequila的博客 519

用Python+LLM实现小说自动转剧本:从爬取到生成的完整实战指南(附GitHub源码)

本文提供了一份完整的实战指南,详细介绍了如何利用Python和大语言模型(LLM)构建一个自动化的小说转剧本工具。文章从网络爬虫获取文本开始,逐步讲解了使用LLM进行智能解析与结构化、集成专业模型进行情绪分析与动作生成,最终合成并输出格式规范的剧本文档。通过模块化架构设计和附带的GitHub源码,帮助开发者掌握从数据获取到内容生成的全流程,实现高效的小说剧本转换器。

xray4的博客 409

【分布式】Hadoop完全分布式的搭建(零基础)

本文旨在指导读者如何在虚拟化环境中构建一个完全分布式的Hadoop集群。内容涵盖了从网络和节点的规划到环境设置,再到实现SSH免密登录、配置文件的准备、软件的分发与安装、集群的启动与停止。

fukase_mio的博客 4414

基于多物理参数数据融合和先进人工智能算法的锂电池热失控监测传感器

基于多物理参数数据融合和先进人工智能算法的锂电池热失控监测传感器是多种方案中的优选项!是一种快速、准确、可靠、应用广泛的传感方案!可有效监测锂离子电池热失控风险,保障化学能储能电站安全!

chicheng_danxin的博客 2411

头歌Educoder——大数据Hadoop开发环境搭建

文章目录第1关:配置开发环境 - JavaJDK的配置任务描述相关知识下载JDK解压配置环境变量测试编程要求实现代码第2关:配置开发环境 - Hadoop安装与伪分布式集群搭建任务描述相关知识下载Hadoop配置Hadoop环境设置SSH免密登录hadoop-env.sh 配置yarn-env.sh 配置core-site.xml配置hdfs-site.xml文件配置mapred-site.xml文件配置yarn-site.xml配置创建文件夹将Hadoop添加到环境变量中验证格式化启动Hadoop编程要求

赵士杰——成功并非一蹴而就,而是在持之以恒的努力中逐渐实现。 6万+

QDMA工程搭建/windows驱动编译与性能测试

请注意,根据您的目标操作系统,您可能需要在windows启动配置中启用测试签名的驱动程序,以便启用此驱动程序的安装。右键单击设备,选择更新驱动程序软件,然后选择构建的QDMA驱动程序的文件夹(通常为。创建一个新工程,在IP Catalog中搜索QDMA,双击创建qdma ip核。驱动程序安装安装驱动程序最简单的方法是通过Windows的“设备管理器”。如果系统提示未经验证的驱动程序发布者,请选择无论如何安装此驱动程序软件。本节主要介绍QDMA驱动在Windows系统的源文件、编译和安装过程。

qq_28455081的博客 2287

R语言分段回归

1.利用虚拟变量进行线性回归 (MEdata.csv的数据来源:https://github.com/ChenQihome9/优快云-Data-Library/blob/master/MEdata.csv) 问题13:针对TAX~GDP,使用分段回归方法,找到其回归方程。编程,并根据程序结果叙述如下几方面问题:(1)分几段最佳?(不超过5段内)(2)分段位置定在哪儿最佳?(3)写出最佳方...

ChenQihome9的博客 1万+

从 Linux 安装到 Hadoop 环境搭建全过程

从 Linux 的最小化安装到 Hadoop 环境的搭建,尽可能详尽介绍每个步骤。

奇妙的代码 1万+

QGis二次开发 —— 5、基于qgis开发多种在线地图预览,并加入经纬度坐标显示等(附:源码)

QGis二次开发 —— 5、基于qgis开发多种在线地图预览,并加入经纬度坐标显示等(附:源码

368

环境搭建--Hadoop完全分布式

Hadoop的完全分布式安装

weixin_53545333的博客 3515

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

【详细版】Linux系统中搭建Hadoop

修改core-site.xml文件,分别指定hdfs 协议文件系统的通信地址及hadoop 存储临时文件的目录。进入/opt/server/hadoop-3.3.4/etc/hadoop 目录下,修改以下配置。进入 ~/.ssh 目录下,查看生成的公匙和私匙,并将公匙写入到授权文件。Hadoop 3中不允许使用root用户来一键启动集群,需要配置启动用户。进入 ${HADOOP_HOME}/sbin/ 目录下,启动 YARN。切换/opt/tools目录下,rz上传Hadoop安装包。

weixin_55928290的博客 5282

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

linux hadoop完全分布式集群搭建图文详解

一.前期准备 1.1 Win7官网下载hadoop包 本文使用版本hadoop-2.6.5.tar.gz 1.2 配置jdk jdk1.7:linux jdk安装和配置 1.3 centos7集群服务器 主机名 系统 IP地址 master centos7 192.168.32.128 slave01 centos7 192.168.32.131 slave02 centos7 192.168.32.132 1.4 多服务器ssh免密码

if(true){ I love it } 1万+

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

Hadoop完全分布式环境部署(一看就会)

Hadoop完全分布式环境部署

weixin_54412689的博客 8511

Linux-一篇文章,速通Hadoop集群之伪分布式,完全分布式,高可用搭建(附zookeeper,jdk介绍与安装)。

本片文章会详细介绍hadoop的作用,历史,学习hadoop。以及教会大家如何在Linux搭建hadoop的三种集群,以应对不同场所不同需求的集群环境。除此之外,也可以在本文里一起探讨交流,提升能力。

qq_49513817的博客 5274

Linux环境搭建Hadoop及完全分布式集群

本人通过学习Hadoop以及搭建Hadoop集群所整理的快速搭建完全分布式集群代码模板

cleverstronge的博客 3055

Linux系统下的hadoop完全分布式系统的配置

一、安装VMware VMware的安装 二、centos的安装 最好安装centos x7的 centos的安装 三、根据hadoop伪分布式的搭建,完全分布式使用hadoop104克隆出来的hadoop101,hadoop102,hadoop103来设置集群。 (一)、同时启动hadoop101,102,103。 (二)、对主机进行改动 1.将其ip地址改动为 ip addr # 查看IP地址 vi /etc/sysconfig/network-scripts/ifcfg-ens33 # 修

m0_64445892的博客 4503

基于OpenEuler部署Hadoop完全分布式集群

基于OpenEuler +jdk17部署Hadoop完全分布式集群

shisjin的博客 8151
上一篇: Linux系统使用小记
下一篇: Linux下HDFS简单的shell操作
Source_00
博客等级 码龄11年 9粉丝 31原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值