hadoop 2.6 环境搭建

windows下搭建hadoop-2.6.0本地idea开发环境 概述本文记录windows下hadoop本地开发环境的搭建:OS:windows hadoop运行模式:独立模式 安装包结构:Hadoop-2.6.0-Windows.zip - cygwinInstall // cygwin离线安装包 - hadoop-2.6.0-windows.tar.gz // hadoop-2.6.0 windows安装包 PS:hadoop-2.6.0-w 阅读详情

一、环境说明

1、机器:一台物理机(MASTER)和一台虚拟机(SLAVE)

2、集群节点:两个 MASTER(Master), SLAVE(Slave)

MASTER 10.12.2.182

SLAVE 10.12.2.90

3, 设置主机名称

1)

Vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=MASTER

2) vi /etc/hostname

MASTER

Vi /etc/hosts

10.12.2.182 MASTER

10.12.2.90 SLAVE

二、准备工作

1, 安装JDK,

下载JDK安装包, 解压到/usr/java/jdk1.8.0_111

配置环境变量 ~/.bashrc:

exportJAVA_HOME=/usr/java/jdk1.8.0_111

exportJRE_HOME=/usr/java/jdk1.8.0_111/jre

exportCLASSPATH=/usr/java/jdk1.8.0_111/lib

exportPATH=$JAVA_HOME/bin:$PATH

2, 改变root用户的根路径:

[root@MASTER hadoop-2.6.0]# cat /etc/passwd

把根路径从/home/rli

root:x:0:0:root:/home/rli:/bin/bash

改成

root:x:0:0:root:/root:/bin/bash

 

1)   先logout, 再用root用户登录系统

2)   如果crash,  在登录前把/home/rli/.bash* 所有问题copy到/root/下;

     

3,SSH 免校验设置

首先在MASTER

进去.ssh文件: [root@MASTER ]$ cd ~/.ssh/

生成秘钥 ssh-keygen : ssh-keygen -t rsa , 连续按回车键

最终生成(id_rsa,id_rsa.pub两个文件) 

生成authorized_keys文件:[root@MASTER .ssh]$ cat id_rsa.pub >> authorized_keys  

在另一台机器SLAVE 也生成公钥和秘钥,步骤与上面相同。

 

将SLAVE 的id_rsa.pub文件copy到MASTER机器:[root@SLAVE.ssh]$ scp id_rsa.pub root@10.12.2.182:~/.ssh/id_rsa.pub_sl

此切换到机器MASTER 合并authorized_keys; [root@MASTER.ssh]$ cat id_rsa.pub_sl>> authorized_keys 

 

将authorized_keys copy到SLAVE机器(/home/rli/.ssh):[root@MASTER .ssh]$ scp authorized_keys  root@10.12.2.182:~/.ssh/

现在讲两台机器 .ssh/ 文件夹权限改为700,authorized_keys文件权限改为600(or 644)

chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

 

三、安装Hadoop

这是下载后的hadoop-2.6.0.tar.gz压缩包,   

1、解压 tar -xzvf hadoop-2.6.0.tar.gz 

2、move到指定目录下:[root@MASTER ]$ mv hadoop-2.6.0  /root/cluster/opt/ 

3、进入hadoop目前  [root@MASTER ~]# cd /root/cluster/opt/hadoop-2.6.0/

[root@MASTERhadoop-2.6.0]# pwd

/root/cluster/opt/hadoop-2.6.0

4, 配置之前,先在本地文件系统创建以下文件夹:/root/cluster/opt/hadoop-2.6.0/tmp

/root/cluster/opt/hadoop-2.6.0/dfs/data,

/root/cluster/opt/hadoop-2.6.0/dfs/name。主要涉及的配置文件有7个:都在/ hadoop-2.6.0/etc/hadoop文件夹下,可以用gedit命令对其进行编辑。

/root/cluster/opt/hadoop-2.6.0//etc/hadoop/hadoop-env.sh
/root/cluster/opt/hadoop-2.6.0//etc/hadoop/yarn-env.sh
/root/cluster/opt/hadoop-2.6.0//etc/hadoop/slaves
/root/cluster/opt/hadoop-2.6.0//etc/hadoop/core-site.xml
/root/cluster/opt/hadoop-2.6.0//etc/hadoop/hdfs-site.xml
/root/cluster/opt/hadoop-2.6.0//etc/hadoop/mapred-site.xml
/root/cluster/opt/hadoop-2.6.0//etc/hadoop/yarn-site.xml

[root@MASTER  hadoop-2.6.0]# ls

bin  etc     lib      LICENSE.txt  NOTICE.txt sbin   tmp

dfs  include libexec  logs         README.txt  share

 

4、进去hadoop配置文件目录

[root@MASTER hadoop-2.6.0]$ cd etc/hadoop/
[root@MASTER hadoop]$ 
ls
capacity-scheduler.xml  hadoop-env.sh              httpfs-env.sh            kms-env.sh           mapred-env.sh              ssl-client.xml.example
configuration.xsl       hadoop-metrics2.properties httpfs-log4j.properties  kms-log4j.properties mapred-queues.xml.template  ssl-server.xml.example
Container-executor.cfg  hadoop-metrics.properties  httpfs-signature.secret  kms-site.xml         mapred-site.xml             yarn-env.cmd
core-site.xml           hadoop-policy.xml          httpfs-site.xml         log4j.properties      mapred-site.xml.template   yarn-env.sh
hadoop-env.cmd          hdfs-site.xml              kms-acls.xml            mapred-env.cmd        slaves                     yarn-site.xml

4.1、配置 hadoop-env.sh文件-->修改JAVA_HOME

# The javaimplementation to use.
export JAVA_HOME=$JAVA_HOME ( 保持原状,已经设置JAVA_HOME环境变量)

4.2、配置 yarn-env.sh 文件-->>修改JAVA_HOME

# some Java parameters

 exportJAVA_HOME= $JAVA_HOME

4.3、配置slaves文件-->>增加slave节点 

 10.12.2.90

4.4、配置 core-site.xml文件-->>增加hadoop核心配置(hdfs文件端口是9000、file: /root/cluster/opt/hadoop-2.6.0/tmp、)

<configuration>

 <property>

  <name>fs.defaultFS</name>

 <value>hdfs://10.12.2.182:9000</value>

 </property>

 

 <property>

  <name>io.file.buffer.size</name>

  <value>131072</value>

 </property>

 <property>

  <name>hadoop.tmp.dir</name>

 <value>file:/root/cluster/opt/hadoop-2.6.0/tmp</value>

  <description>Abasefor other temporarydirectories.</description>

 </property>

 <property>

 <name>hadoop.proxyuser.spark.hosts</name>

  <value>*</value>

 </property>

<property>

 <name>hadoop.proxyuser.spark.groups</name>

  <value>*</value>

 </property>

</configuration>

4.5、配置  hdfs-site.xml 文件-->>增加hdfs配置信息(namenode、datanode端口和目录位置)

<configuration>

 <property>

 <name>dfs.namenode.secondary.http-address</name>

  <value>10.12.2.182:9001</value>

 </property>

 

  <property>

   <name>dfs.namenode.name.dir</name>

  <value>file:/root/cluster/opt/hadoop-2.6.0/dfs/name</value>

 </property>

 

 <property>

 <name>dfs.datanode.data.dir</name>

 <value>file:/root/cluster/opt/hadoop-2.6.0/dfs/data</value>

  </property>

 

 <property>

  <name>dfs.replication</name>

  <value>3</value>

 </property>

 

 <property>

  <name>dfs.webhdfs.enabled</name>

  <value>true</value>

 </property>

 

</configuration>

4.6、配置 mapred-site.xml 文件-->>增加mapreduce配置(使用yarn框架、jobhistory使用地址以及web地址)

<configuration>

  <property>

   <name>mapreduce.framework.name</name>

   <value>yarn</value>

 </property>

 <property>

 <name>mapreduce.jobhistory.address</name>

  <value>10.12.2.182:10020</value>

 </property>

 <property>

 <name>mapreduce.jobhistory.webapp.address</name>

  <value>10.12.2.182:19888</value>

 </property>

</configuration>

4.7、配置  yarn-site.xml  文件-->>增加yarn功能

<configuration>

  <property>

  <name>yarn.nodemanager.aux-services</name>

   <value>mapreduce_shuffle</value>

  </property>

  <property>

   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

  <value>org.apache.hadoop.mapred.ShuffleHandler</value>

  </property>

  <property>

  <name>yarn.resourcemanager.address</name>

   <value>10.12.2.182:8032</value>

  </property>

  <property>

   <name>yarn.resourcemanager.scheduler.address</name>

   <value>10.12.2.182:8030</value>

  </property>

  <property>

  <name>yarn.resourcemanager.resource-tracker.address</name>

   <value>10.12.2.182:8035</value>

  </property>

  <property>

   <name>yarn.resourcemanager.admin.address</name>

   <value>10.12.2.182:8033</value>

  </property>

  <property>

  <name>yarn.resourcemanager.webapp.address</name>

   <value>10.12.2.182:8088</value>

  </property>

 

</configuration>

5、将配置好的hadoop文件copy到另一台slave机器上

[root@rli_linuxopt]$ scp -r hadoop-2.6.0/ root@10.12.2.90:/root/cluster/opt/


四、验证

1、格式化namenode:

[root@MASTER opt]$ cdhadoop-2.6.0/
[root@MASTER hadoop-2.6.0]$ ls
bin  dfs  etc  include  input  lib  libexec LICENSE.txt  logs  NOTICE.txt  README.txt  sbin share  tmp
[root@MASTER hadoop-2.6.0]$ 
./bin/hdfs namenode -format

[root@MASTER .ssh]$ cd~/opt/hadoop-2.6.0
[root@MASTER hadoop-2.6.0]$ 
./bin/hdfs  namenode -format

2、启动hdfs:

[root@MASTERhadoop-2.6.0]$ ./sbin/start-dfs.sh 
3
、停止hdfs:

[root@MASTER  hadoop-2.6.0]$./sbin/stop-dfs.sh 
4
、启动yarn:

[root@MASTERhadoop-2.6.0]$./sbin/start-yarn.sh 
[root@MASTER hadoop-2.6.0]$
 jps
5、停止yarn:

[root@MASTERhadoop-2.6.0]$ ./sbin/stop-yarn.sh 

6、查看集群状态:

[root@MASTERhadoop-2.6.0]$ ./bin/hdfsdfsadmin -report
7
、查看hdfs:http://10.12.2.182:50070/

8、查看RM:http://10.12.2.182:8088/

9, 启动hadoop 集群

root@MASTERhadoop-2.6.0]$./sbin/start-all.sh

[root@MASTER hadoop-2.6.0]# jps
11253 Jps
9977 NameNode
10410 ResourceManager
10253 SecondaryNameNode

[root@SLAVE hadoop-2.6.0]# jps

2162 NodeManager

2091 Datanode



CentOS7搭建Hadoop2.6完全分布式集群环境 3台主机 192.168.30.207 Master 192.168.30.251 Node1 192.168.30.252 Node2 直接用root装,省事. 有特殊需求自行add user装. 以下步骤除非特殊说明,否则每台都必须配置. 1.装JDK 我这装的 /usr/java/jdk1.8.0_65 2.vi /etc/sysconfig/netw 阅读详情

相关推荐

windows下python3.6+pycharm+spark2.3+jdk1.8+hadoop2.7环境搭建

最近要做日志分析 所以想搭建spark环境 但是又觉得双系统有点麻烦 而且文件量不大 所以就用了windows系统。在网上看了很多博客  有篇博客介绍说spark不支持python3.6  但是我发现搭建以后测试程序也成功运行了 所以写出来跟大家分享一下。把错误写在前头:我一开始用的jdk1.7,在控制台输入pyspark的时候一直报版本不匹配的错误,后来我换成了jdk1.8就好了。下载jdk1....

m0_37752104的博客 3318

在CentOS7上搭建Hadoop集群(3个节点)

hadoop集群安装

神是念着倒 3422

hadoop2.7.6和spark-2.3.0以及scala环境搭建

1 java1.8环境配置 安装目录不要有空格,否则后面配置hadoop很麻烦   参考 jdk1.8配置 2 scala环境配置   scala的版本很多,但是spark的官网告诉我们spark-2.3.0使用2.11.x   scala下载地址, 我下载的是 scala-2.11.12.msi     新建SCALA_HOME:D:\Soft\scala     Path后面追加: %SCAL...

chy2z的专栏 5214

hadoop2.6安装

1. 准备工作 1) 版本选择 Hadoop+Hbase+Hive一般设计大数据业务的必选组件,首先选择兼容的组件进行搭建至关重要,环境搭建好不会轻易的换版本,选择一个兼容性强,稳定的版本。 本文选择组件hadoop2.6.0,Hbase0.96.2,Hive1.13.1,现阶段此种组合算是比较新的。0.98.8版本兼容性不好,以至于遗弃而选择0.96.2. 软件官方下载地址:http:/

weipanp的专栏 1028

普通人如何上岸华为OD-面试总结

总共有3道算法题,100分值的两道,200分值的一道,不同的毕业院校和专业,通过机试的分值不一样,最少需要150分通过,提前和hr联系,了解自己需要多少分通过。重中之重:哪怕你是背的题库,也请你一定不要直接抄原来的,最好是变更下方法名,否则会判定你重复率过高,从而失去后面的面试机会(实在是不会做再用此方法,凑分数所用,面试官能看到你的代码,会影响你的面试评价)本人女,所以还问道了婚育计划,有对象这点可以说,没有问题,但是如果可以的话,生孩子的时间,可以给hr说这几年不考虑。如果说没有难题,直接就挂了。

weixin_47767264的博客 5463

告别零散脚本:用Playwright+Pytest+Yaml+Allure搭建可维护的UI自动化项目

UI自动化测试是软件质量保障的关键环节,其核心在于模拟用户操作,对Web应用界面进行功能验证。传统的脚本堆砌方式常因代码耦合度高、维护成本大而难以为继。工程化解决方案通过分离关注点,将测试逻辑、数据和配置解耦,从而显著提升项目的可读性、可维护性和可扩展性。其技术价值在于构建可持续运行的自动化资产,而非一次性脚本。典型的应用场景包括Web应用的回归测试、兼容性测试及CI/CD流水线中的质量门禁。本文以Playwright、Pytest、Yaml和Allure为核心技术栈,详细阐述了如何从项目架构、页面对象模型

weixin_42529328的博客 302

Hadoop集群搭建1Master、3Slaves

master.hadoop  10.9.148.193 slave1.hadoop  10.9.148.190 slave2.hadoop  10.9.148.191 slave3.hadoop  10.9.148.192 root 123456   hadoop 123456 1. 重装系统 Centos6 2. 设置固定IP IPv4: 手动 地址           子网

ITwangnengjie的博客 5295

【高级-RAG-优化方法】

本文介绍了两种优化RAG(检索增强生成)系统的高级方法。第一部分介绍KnowFlow项目,它采用父子分块技术,将文档分为父分块(800-1500字符)和子分块(200-400字符),通过精确匹配子分块再返回父分块内容来保证搜索精确性和上下文完整性。第二部分探讨Milvus的多种增强技术,包括查询增强(如假设问题生成、回溯提示)、索引增强(自动合并块、分层索引)、检索器增强(句子窗口检索、元数据过滤)、生成器增强(提示压缩、块排序)以及管道增强(自我反省、代理查询路由)。这些方法共同提升了RAG系统的检索效率

weixin_48585108的博客 962

hadoop2.6版本集群环境搭建

一、环境说明 1、机器:一台物理机 和一台虚拟机 2、linux版本:[spark@S1PA11 ~]$ cat /etc/issueRed Hat Enterprise Linux Server release 5.4 (Tikanga) 3、JDK:[spark@S1PA11 ~]$ java -versionjava version "1.6.0_27"Java(TM) SE Run...

stark_summer 526

全国30米分辨率逐年植被覆盖度(FVC)数据集

植被覆盖度是描述地表植被的重要参数与生态环境的基本指标,在大气圈、土壤圈、水圈和生物圈中都占据着重要的地位,区域及全球范围的植被覆盖度估算对植被及相关领域的研究具有重要意义。分别对LANDSAT 5/7/8系列数据计算FVC,其中Landsat5 和Landsat 7NDVI计算利用 B4和B3波段,Landsat8 和Landsat9 NDVI计算利用 B5和B4波段。算法从当年所有观测数据中,以低云、低探测角度和最高NDVI值为标准,选择最佳的可用像元值,并进行换算。(3) FVC的计算。

地球资源数据云的官方博客 1809

HDMI与DisplayPort混搭方案:如何用Xilinx Video PHY Controller实现多协议视频接口转换

本文详细解析了如何利用Xilinx Video PHY Controller IP核实现HDMI与DisplayPort协议转换,涵盖混合视频接口架构设计、GT收发器动态重配置策略及跨协议时钟域处理方案。通过实战案例和配置技巧,帮助开发者构建高性能多协议视频转换系统,适用于医疗影像、工业控制等场景。

weixin_30776273的博客 447

Hadoop2.8集群安装详细教程

一、网络及主机名配置 192.168.1.2 master.hadoop 192.168.1.3 slave1.hadoop 192.168.1.4 slave2.hadoop 1.修改主机名 [root@master /]# vi /etc/hostname #主机名 master.hadoop [root@master ~]# hos...

nuc2015的博客 4329

【影像组学入门百问】1#---#3

理论上讲三大主流平台Windows, Linux和MacOS均可进行影像组学研究。根据笔者实际经验,如果内存不足可能导致软件罢工,其余显示、GPU等均非必要。显示:最小分辨率为1024×768(推荐为1280×1024或更好)。Slicer中的许多计算都是多线程的,并且将受益于多核,多CPU配置。计算机需要足够的内存和图形功能将原始数据和处理结果保存在其内存中。如涉及深度学习等方法的研究需根据实际需求配置电脑,无法一概而论。接口设备:推荐使用带滚轮的三键鼠标。内存:超过4GB(推荐8G以上)。

weixin_38594676的博客 1486

Hadoop的环境搭建(2.6.0)

由于Spark并没有相应的文件系统,因此需要先安装HDFS。本文简单的实现了Hadoop2.6.0的环境搭建。

我的博客 602

HFSS实战项目——GPS北斗双模微带天线

本文设计了一款方形圆极化微带天线应用于北斗B1和GPSL1频段,满足高增益、低VSWR、适当方向图等要求。设计中心频率为1568MHz,介质板采用厚度h=1.6mm的Arlon AD450(tm)板,相对介电常数为4.5,采用探针馈电。

2401_87464239的博客 1770

易盾滑块的js逆向分析

基于易盾的滑块验证码进行逆向分析,最种实现全系列的验证码逆向,包括滑块、点选、推理拼图等多种类型。

shanf7921的博客 3万+

Hadoop 2.6.0环境搭建详细

Hadoop 2.6.0环境搭建详细

梦想成真那天 389

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Linux下hadoop2.6和Spark环境搭建

环境准备 集群有三台机器:master:W118PC01VM01/192.168.0.112 slave1:W118PC02VM01/192.168.0.113 slave2:W118PC03VM01/192.168.0.114 首先配置/etc/hosts中ip和主机名的映射关系:* 192.168.0.112 W118PC01VM01 * 192.168.0.113 W118PC02VM01

HU_YI123的专栏 1568

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

hadoop2.6分布式环境搭建

1. 前言在3个系统centos6.5的linux虚拟机搭建一个分布式hadoop环境,hadoop版本为2.6,节点ip分别为192.168.17.133 192.168.17.134 192.168.17.135 2. 配置hosts文件分别在3个节点上配置/etc/hosts文件,内容如下:192.168.17.133 master 192.168.17.134 slave1 192.

1032851561的博客 7311

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

hadoop2.6.0学习——伪分布式环境搭建(有安装包 非常详细)

在搭建hadoop环境之前需要先把jdk环境安装完成 没有jdk环境的可以看我的另一篇博客:利用辅助工具MobaXter在Linux centos7上配置jdk环境 然后下载hadoop安装包链接: 链接: https://pan.baidu.com/s/10vl0j7xwpYiM2lnGnuOyfA 提取码: t37t 1、先在linux根目录下创建一个专门放安装包的文件夹: mkdir software cd /software 将需要的安装包拖入到文件夹里 下面进行解压 tar -zxvf had

Mr_Bright的博客 1911

hadoop 2.6.4 java_Hadoop 2.6.4单节点集群环境搭建

一、软件准备 1. jdk-7u80-linux-x64.tar.gz2. hadoop-2.6.4.tar.gz3. ssh客户端(必须安装 ssh 且必须运行 sshd 以便使用 Hadoop 脚本来管理远程的 Hadoop 守护进程, Mac自带有 ssh 客户端)二、JDK安装配置 1. 下载解压jdk-7u80-linux-x64.tar.gz。2. 配置环境变量, 编辑 .bash_...

weixin_39851974的博客 282

Hadoop2.6.1集群环境搭建

Hadoop2.6.1环境搭建环境及版本删除机器自带的JAVA环境三台机器均需关闭防火墙获取hadoop、JAVA设置环境变量配置ssh免密登入hadoop配置文件修改将hadoop分发给slave1,slave2启动集群 环境及版本 CentOS7 JAVA8 Hadoop2.6.1 集群环境 master: 192.168.27.130 slave1: 192.168.27.131 slave2: 192.168.27.132 以下未做说明操作均在master节点上 删除机器自带的JAVA

Code_zhu的博客 388

Hadoop-2 6 0环境搭建精简极致指导

Hadoop-2 6 0环境搭建精简极致指导

ugghhj的博客 340

Hadoop2.6.0伪分布环境搭建

Hadoop2.6.0伪分布环境搭建 用到的软件: 一、安装jdk: 1、要安装的jdk,我把它拷在了共享文件夹里面。   (用优盘拷也可以) 2、我把jdk拷在了用户文件夹下面。 (其他地方也可以,不过路径要相应改变) 3、执行复制安装解压命令:  解压完毕:   查看解压的文件夹: 4、配置 环境变量: 写入如下5行代码: 使配置生效:

鲍礼彬的优快云博客 ~_~ 5267

Hadoop 2.6 完全分布环境搭建

Hadoop 2.6 完全分布环境搭建 一、 安装VM,修改本地window系统的网卡 修改网关ip 一、            安装CENTOS 6.4 不再赘述 二、            虚拟机设置静态IP 虚拟机调节成主机限定模式,并设置如下网络 那么接下来就是重启网络服务 Service networkrestart

Jornici的博客 568

Hadoop-2.6.0环境搭建精简极致指导

Hadoop-2.6.0环境搭建精简极致指导   HopToad 欢迎关注微信公众号:HopToad 转载请标出处 1、     软件下载 从官网http://apache.fayea.com/hadoop/common/  下载hadoop 从oracle官网下载JDK  http://www.oracle.com/technetwork/java/javase/downloa

badman250的专栏 3万+
上一篇: 如何解决误修改/etc/passwd 的root根目录,导致无法进入root根目录的问题
下一篇: Hive2.1.0安装配置mysql
reylee911
博客等级 码龄12年 6粉丝 11原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值