Hadoop在Windows环境下的部署

Windows环境下Hadoop 3.1.0客户端部署与实战指南 Hadoop 3.1.0 是 Apache Hadoop 发展过程中的一个重要版本,带来了多项关键功能增强与性能优化,显著提升了大数据平台的稳定性、扩展性与易用性。本章将重点介绍其核心更新特性,包括:多NameNode架构:支持一个命名服务下多个NameNode,提升HDFS的可扩展性与高可用性;Erasure Coding(纠删码):在HDFS中引入纠删码技术,降低存储开销,相比传统3副本机制节省约50%存储空间;YARN资源管理增强。 阅读详情

经过一整天的折腾,参考了网上很多资料,我机器上的Hadoop似乎是配置成功了。下面分享一下详细的配置过程。也祝愿大家在配置的过程中少走弯路。

注意:本文的配置环境是:

  • CygWin最新版本2.769下载地址
  • Window7-64bit
  • JDK1.6.0_31-win64 (JRE6)下载地址
  • Eclipse-Indigo..
  • Hadoop 0.20.2 (注意:0.20.203版本不可用,会导致tasktracker无法启动)下载地址
-----------------------------------------华丽分割------------------------------------
环境安装&配置:
1.JDK,我的安装目录:C/Java,安装后视图


安装好了JDK,然后配置JAVA_HOME环境变量:
然后,把JDK下面的BIN目录追加到环境变量PATH后面。

2.CygWin,安装过程中记得选择所需的包,这里需要的是:
Net Category下的:openssh,openssl
BaseCategory下的:sed (若需要Eclipse,必须sed)
Devel Category下的:subversion(建议安装)。具体请参考下面的图示:




安装完成后,把CygWin的bin目录以及usr/sbin 追加到系统环境变量PATH中。

3.Hadoop
把下载的hadoop-0.20.2.tar.gz解压到指定目录。我把解压后的Hadoop程序放到了Cygwin根目录下的hadoop文件夹中。具体如下图示:
(不要使用0.20.203版本的Hadoop!!!)


下面开始配置Hadoop。需要配置的文件:(hadoop/conf目录下)
  1. hadoop-env.sh
  2. core-site.xml
  3. hdfs-site.xml
  4. mapred-site.xml
第一个文件 hadoop-env.sh

把里面的JAVA_HOME改掉,注意export前面的#号要去掉。
而且必须要使用linux的路径表达方式。我的jdk路径是 C:\JAVA\jdk1.6.0_31,在CygWin中对应的路径为: /cygdrive/c/java/jdk1.6.0_31

第二个文件:core-site.xml
首先删除它,然后把hadoop/src/core目录下的core-default.xml文件复制到conf目录下,并命名为core-site.xml。然后修改其中的fs.default.name变量,如下所示。
(确保端口号(我的是9100)未被占用)


第三个文件:hdfs-site.xml
首先把它删除,然后复制src/hdfs目录下的hdfs-default.xml到conf目录下,并改名为hdfs-site.xml
然后修改dfs.replication变量,如下图示:
该变量意思是文件系统中文件的复本数量。在单独的一个数据节点上运行时,HDFS无法将块复制到三个数据节点上。


第四个文件:mapred-site.xml
首先删除它,然后复制src/mapred目录下的mapred-default.xml到conf目录下,并改名为mapred-site.xml,然后修改其mapred.job.tracker变量:
(同样确保端口号未被占用)



----------------------------------华丽分割-------------------------------------
配置SSH服务 (首先确认安装了OpenSSH,OpenSSL两个包)
1.打开CygWin输入SSH-HOST-CONFIG
2.系统提示:should privilege  separation be used ? 回答:no
3.系统提示:if sshd should be installed as service?回答:yes
4.系统提示:the value of CYGWIN environment variable 输入: ntsec
5.成功
下面是图示(我自己当时没记录,所以参考的是网络上的图片)


下一步,进入Window系统的服务菜单,打开Cygwin的SSHD服务:如下图所示:

下面继续回到CygWin环境:执行如下命令:
1.ssh-keygen然后一直回车
2.cd ~/.ssh
3.     cp id_rsa_pub anthorized_keys
4.exit 退出cygwin,若不退出,可能出错
再次登录时查看一下:

5运行 ssh localhost  若有提示,则回车。
6执行 ps  若看到 有/usr/bin/ssh 进程,说明成功

------------------------------------华丽分割----------------------------------
启动Hadoop
第0步:为了避免jobtracker,info could only be replicated to 0 node,instead of 1错误,最好把 hadoop/conf目录下面的 masters和slaves文件全部改为127.0.0.1(原内容为:localhost)
第一步,在hadoop目录下创建目录logs,用于保存日志

第二步,格式化管理者,即namenode,创建HDFS
执行命令: bin/hadoop namenode -format,下面示代表成功
此时,执行ps,应该能看到ssh进程,且看不到java虚拟机进程。

第三步,启动Hadoop,执行命令: bin/start-all.sh
然后执行jps命令,你可能会看到如下图:

会发现Datanode ,Secondarynamenode以及TaskTracker都没有启动。网上有人说是JPS的问题,具体不是很清楚,但本文后面的文件系统可以使用。Datanode可以保存数据,继续看吧。

不过此时执行PS命令,能看到5个JVM进程。

不知道这算不算成功,但我的Logs日志文件夹里面没有报错。

------------------------------华丽分割---------------------------------------
文件系统操作
为了验证HDFS能够正常工作我们可以进行文件的上传操作。
执行命令:
bin/hadoop fs -mkdir In
bin/hadoop fs -put  *.txt In
以上命令会在HDFS中建立In文件夹,然后把本地Hadoop目录下的所有文本文件上传到HDFS中,Hadoop目录下共用四个txt文件:

OK,上传的太少,不爽,再上传一部电影。比如,我要把一个视频文件movie.mpg上传到HDFS中,首先,在Hadoop根目录下建立文件夹local,然后把movie.mpg拷贝到其中

下面执行命令:

然后,查看文件系统是否有上述文件:

可以看到Movie.mpg在HDFS中。

同样在Eclipse中也能看到哇:


OK,突然不能贴图了,我再接着写一篇吧。介绍一下常见的错误处理。

Hadoop-2.9.2在Windows环境下的完整运行配置与资源部署 Apache Hadoop-2.9.2是Hadoop生态系统中广为采用的稳定版本,其核心由三大模块构成:和MapReduce。HDFS负责海量数据的高容错存储,采用主从架构(NameNode + DataNode),支持多副本机制;YARN实现集群资源的统一调度与管理,将资源控制与作业调度解耦;MapReduce则提供基于批处理的分布式计算模型,适用于大规模数据集的离线分析。-- 典型Hadoop组件依赖关系示意 -->是指向 Hadoop 安装根目录的环境变量,通常包含bin。 阅读详情

相关推荐

虚拟机器人平台CoppeliaSim(Vrep)的逆运动学教学

相信看这篇博客的人都知道CoppeliaSim是做什么的,因此这里不多赘述。CoppeliaSim从最早的Vrep到现在已经更新了N个版本,从过去Vrep3.x开始使用的我这里小小地吐槽一下这个软件。CoppeliaSim每一个版本都有更新,问题是这些更新有时候不能向前兼容,而且时不时更新地让人不知所措(对于有紧急任务的时候真的很火大啊)。 以本文所展示地逆运动学来说,CoppeliaSim在4.0.0之后又大变,推翻了过往所有的拖动模块链接之类的构建方式,转而采用直接通过代码来实现逆运动学。 简单版逆运动

qq_39243015的博客 6701

【hadoop】windows上hadoop环境的搭建步骤

在大数据开发领域中,不得不说说传统经典的hadoop基础计算框架。一般我们都会将hadoop集群部署在服务器上,但是作为一个资深搬砖人,我们本地环境也需要一个开发hadoop的开发环境。那么,今天就安排一个在windows上搭建一个hadoop环境。

勤于笔记,成于点滴。 5190

案例分析|一篇文章带你看懂养鸡场智慧管理系统

养鸡场智慧管理系统是为了满足现代化养鸡业对精细化管理的需求而设计的一款专业软件。随着科技的发展和农业产业的升级,传统的手工记录和管理方式已无法满足高效、准确和实时的数据跟踪需求。本软件旨在通过集成各种功能模块,帮助养鸡场主实现从鸡苗孵化、饲养管理、饲料控制到销售结算等全链条的智能化操作。该系统的核心目标是提升养鸡场的运营效率和盈利能力,通过自动化数据处理,减少人工误差,节省时间和精力。例如,孵化报表和记录模块可以帮助管理者实时监控孵化过程,及时调整策略;

muyu2980的专栏 930

Windows下配置Hadoop环境(全过程)

首先到官方下载官网的hadoop2.7.7,链接如下 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 找网盘的hadooponwindows-master.zip 链接如下 https://pan.baidu.com/s/1VdG6PBnYKM91ia0hlhIeHg 把hadoop-2.7.7.tar.gz解压后...

qq_35535690的博客 9万+

AutoCAD2016安装破解教程

AutoCAD2016安装破解教程。本人亲自实验,破解成功,有效。以64位为例。 工具/原料   笔记本电脑 AutoCAD2016安装包 AutoCAD2016注册机(xf-adsk2016_x64.exe)链接:http://pan.baidu.com/s/1cAZQA windows7/8/8.1/10-32...

weixin_33804990的博客 1万+

S32K3 MCAL配置 【MCU、PORT、DIO】

1、s32k3时钟源可由PLL, FXOSC, FIRC, SIRC, and SXOSC五种时钟源生成,可按照手册推荐配置。目标是在在S32K344板子上点亮红色LED灯,需要配置的有MCU、PORT、DIO模块。MCU最主要的是时钟配置,要翻看芯片手册,理解时钟树。1、通用配置中,没有什么特殊需求按照demo配置就好。1、配置MC_CGM mux 0 clocks时钟。1、外部晶振配置按照实际项目原理图进行配置。1、外部晶振配置,按照实际项目配置。1、PLL时钟按照手册进行配置。

weixin_43741076的博客 3249

windows配置hadoop(详细)

一、环境 windows7 64位 hadoop2.7 二、安装java1.8,并配置环境变量 下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载对应的jdk 配置环境变量: 电脑---属性---高级电脑设置---环境变量 系统变量那里,点击新...

xuan314708889的博客 1万+

别再死记硬背了!用TwinCAT 3手把手教你配置EtherCAT伺服驱动的PDO映射(DS402协议)

本文详细介绍了如何使用TwinCAT 3配置EtherCAT伺服驱动的PDO映射(DS402协议),涵盖环境准备、设备扫描、PDO映射实战及高级技巧。通过具体操作步骤和常见问题排查,帮助工程师快速掌握EtherCAT通信配置,提升运动控制系统的效率和稳定性。

weixin_29185493的博客 324

Windows环境下hadoop安装和配置详细步骤

Windows环境下hadoop安装和配置详细步骤 一、下载Hadoop http://www.apache.org/dyn/closer.cgi/hadoop/common (我下载的版本是hadoop-2.7.3.tar.gz,这里就以此版本为例) 下载完成后解压,把hadoop-2.7.3放到某个盘的根目录比如 D:\hadoop-2.7.3 (这样方便打开)。 原版的Hadoop不支持Wi...

weixin_43986204的博客 2万+

零代码搭建专业知识库:Wiki.js+cpolar让团队协作像写笔记一样简单

"项目文档又找不到了!“团队负责人小张第N次在群里看到这样的抱怨——技术文档分散在邮件、网盘和个人电脑里,新人入职要花一周熟悉文档位置,远程协作时版本混乱更是家常便饭。Wiki.js与cpolar内网穿透服务的出现,就像给团队协作装上了"中央大脑”,用写Markdown笔记的简单方式,搭建一个专业的知识库系统。普通人对知识管理的需求其实很简单:方便记录、容易查找、大家能用。但传统方案把这个过程搞得异常复杂:建服务器、配环境、学语法、搞权限……大部分团队还没开始就放弃了。

Yawesh的博客 2042

QT与Coin3D实现机器人的仿真

前言 Coin3D编程环境配置好后,开始下一步的机器人仿真任务。本文根据在研5轴机器人,完成三维模型生成与机器人的仿真。主要参考博主冯Jungle的博客,在此表示感谢。 ——2021.05.23 环境 Win10:VS2019、QT5.15.2、Coin3D、SolidWorks2016 机器人三维模型生成 目前广泛应用于因特网的VRML ( Virtual Reality Modeling Language,虚拟现实建模语言)为用户提供一种可参与的、并能对场景中对象主动做出反应的虚拟现实环境,现已成

焦露的博客 6908

在windows系统上安装Hadoop

Hadoop都是在Linux上安装、配置、操作的,那么Hadoop可以在Windows上安装、运行吗? 答:我们知道Hadoop官网只提供了Hadoop的tar.gz安装包,显然是属于Linux系统的。但其实Windows系统也可以安装Hadoop,如果想在Windows上安装,我们将linux上的tar.gz这个安装包解压缩一下就可以了。(使用软件7-zip) 一、Windows上安装hadoop步骤 第一步 将linux上的tar.gz安装包解压缩 需要解压缩两...

阳哥的博客 1万+

【用ArcGIS制作一张好看的中国月度气温图

要最后选中那个事先调整好的那个数据框,这样其他两个数据框才能和其大小一致。

J_Giser的博客 1020

Windows上基于docker的Hadoop实验环境部署

西电分布式计算实验环境部署,windows上基于docker的Hadoop实验环境部署

wenhaohaohaohao的博客 1446

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

windows部署hadoop环境

a、安装jdk; b、hadoop 解压;c、环境变量设置

p715306030的博客 1741

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

在 Windows 平台下部署 Hadoop 开发环境

在 Windows 平台下部署 Hadoop 开发环境 ,安装并配置Hadoop,学习怎么在本地调试运行Map/Reduce程序。

savechina的专栏 3万+

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

Windows+Docker+Hadoop的部署完整教程(一)基础依赖环境安装

Windows+Docker+pyflink的多种部署模式完整教程(一)基础依赖环境安装Docker以及基础依赖环境安装基础环境依赖1、windows下Docker安装2、Docker下基础环境配置 Docker以及基础依赖环境安装 基础环境依赖 我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客: JDK ...

qq_27493615的博客 4872

在windows环境下部署伪分布式Hadoop集群

需要注意的是,在windows环境中部署hadoop可能会遇到一些问题,需要在操作过程中仔细阅读日志并根据错误消息进行调试和修复。配置hadoop文件:通过修改core-site.xml、hdfs-site.xml和mapred-site.xml配置文件,设置正确的hadoop路径和数据存储位置。启动hadoop服务:运行start-dfs.cmd和start-yarn.cmd脚本来启动hadoop服务。下载和解压hadoop:下载最新版本的hadoop,并将其解压到本地文件系统中。

weixin_44943389的博客 383

在windows环境通过cygwin部署hadoop伪集群

在windows环境通过cygwin部署hadoop伪集群 博客分类: 大数据 在windows环境通过cygwin部署hadoop伪集群 背景 在google发布GFS和Map Reduce的两篇论文之后,围绕着大数据各种实现如雨后春笋般的产生,而其中的佼佼者非hadoop家族莫属。有了类似hadoop的开源实现后,使得数据的采集变得更加廉价,机器学习的价值更

huangkai2012的专栏 685

Windows环境部署Hadoop-3.3.2和Spark3.3.2

Windows环境部署Hadoop-3.3.2和Spark3.3.2

雷神乐乐的博客 2825

在 Windows 平台下部署 Hadoop 开发环境(引自优快云)

在 Windows 平台下部署 Hadoop 开发环境 原文地址:http://blog.youkuaiyun.com/savechina/article/details/5656937 分类: Hadoop2010-06-08 22:494577人阅读评论(5)收藏举报 在 Windows 平台下部署 Hadoop 开发环境 魏仁言 2010.6.8 Hadoop简介 Hadoop 是一个开源的可运...

weixin_30784945的博客 136

Windows环境下Hadoop部署与Winutils配置完全指南:从环境搭建到问题解决

在Windows系统中搭建高效稳定的Hadoop开发环境是大数据开发者的必备技能,而Winutils作为提供Windows平台二进制支持的关键组件,其正确配置直接影响Hadoop生态系统的兼容性与稳定性。本文将系统讲解Winutils的核心价值、技术原理及实战配置方案,帮助开发者快速完成Windows大数据开发环境搭建。 ## 一、Winutils核心价值解析 ### 1.1 项目定位与解决的

gitblog_00735的博客 493

【实战避坑】Windows 下 Hadoop 开发环境一站式部署指南 (从零配置到环境验证)

本文详细介绍了在Windows系统下部署Hadoop开发环境的完整流程,从版本选择、解压操作、环境变量配置到winutils安装和配置文件调优,提供了实战避坑指南。特别强调了Hadoop 3.3.4与winutils的版本匹配问题,以及环境变量设置中的常见错误,帮助开发者快速搭建稳定的Hadoop开发环境。

weixin_29048309的博客 167

Windows下部署hadoop环境

解压:  配置hadoop的环境变量 HADOOP_HOME D:\hadoop-2.6.5 HADOOP_USER_NAME root PATH: %HADOOP_HOME%\bin 将的bin目录下的文件覆盖到部署目录的bin目录下 将hadoop-2.6.5/bin 中的 hadoop.dll  放到 c:/windows/system32下   eclipse插件 ...

会飞的猪的 博客 305
上一篇: C#操作Excel(1)Excel对象模型
下一篇: Hadoop在Windows环境下的部署(续)
ruby97
博客等级 码龄15年 626粉丝 23原创
评论 15
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值