Hadoop在Windows环境下的部署(续)

VMware搭建Hadoop集群 for Windows(完整详细,实测可用)_vmware安装hadoop教程(1) SSH服务的作用一般是有两方面:一是便于虚拟机节点之间免密访问,二是传输数据时会有加解密的过程安全性更高。为了这三个节点间免密登录,比如后面在启动hadoop服务时,主节点启动其它从节点,就需要免密去执行。下载一个linux版本的JDK,这里是 jdk-8u161-linux-x64.tar.gz,3台机器均要执行以下。hadoop02、hadoop03修改时,把对于域名修改成hadoop02、hadoop03即可。这里我们需要借助ftcp文件传输软件,这里使用的是**MobaxTerm,* 阅读详情

本文接上一篇:http://blog.youkuaiyun.com/ruby97/article/details/7423088

上一篇最后贴的图是在Eclipse下查看文件系统组成。

配置Eclipse插件请参考http://www.cnblogs.com/flyoung2008/archive/2011/12/09/2281400.html

------------------------------------------------------------------------------------------

继续上一篇。上传完视频以后,可以通过如下几个命令查看系统的运行情况:

bin/hadoop dfsadmin -report



bin/hadoop dfs -lsr / 查看文件系统



OK。我在配置过程中主要遇到的错误是:


错误1. ...could only be replicated to 0 nodes,instead of 1



这个错误主要的解决方法是:

1.把 tmp文件全部删除。

2.然后把hadoop/conf目录下的slaves,masters文件内容全部改成 127.0.0.1

3.重新格式化namenode :(bin/hadoop namenode -format)

也许你不知道hadoop 的tmp文件在哪里,默认情况下应该才 cygwin根目录下的tmp文件夹内:

如下图所示:


把它们都删掉。就OK了。 (cd /tmp  ,   rm -rf *)

参考博客:http://albb0608.iteye.com/blog/1279495


错误2:

name node is in safe mode

直接输入命令: bin/hadoop dfsadmin -safemode leave 离开安全模式

----------------------------------华丽分割------------------------------

记录配置过程到此结束,如有错误,烦请指出,不胜感激。

Windows上搭建Hadoop环境指南 Hadoop是一个开源框架,设计用于存储和处理大数据。它能够通过简单的编程模型在集群上运行应用程序,并且能够跨成百上千的廉价硬件节点提供高吞吐量的数据访问。Hadoop最初由Apache软件基金会支持,是大数据技术生态中的关键组件。core-site.xml文件是Hadoop配置的核心,用于定义Hadoop的系统级参数,例如文件系统的默认类型、IO设置等。我们来看一个典型的core-site.xml配置文件片段:<property><property>-- 其他配置项 --> 阅读详情

相关推荐

在Windows平台上部署Hadoop的详细指南

Hadoop由Apache软件基金会支持,最初由Doug Cutting领导,旨在简化大数据的存储和处理。自2006年开源以来,它已成为大数据处理领域不可或缺的工具。Hadoop的核心是HDFS(Hadoop Distributed File System)和MapReduce编程模型,它们共同提供了一种在集群上存储和处理大量数据的有效方式。本章节重点介绍了Hadoop配置文件的概览、核心配置文件编辑方法以及如何验证和调试配置文件。在Hadoop集群部署和管理过程中,这些配置文件扮演着至关重要的角色。

weixin_30923011的博客 1161

Hadoop大数据集群搭建(超详细)

本文主要介绍了Hadoop集群的搭建过程,图文详细,适合新手入门

小飞飞V5的博客 6万+

C++坦克大战源代码

【代码】C++坦克大战源代码。

强国豪,林中霖 2613

hadoop本地化windows部署

· hadoop on windows · hive on windows · spark on windows(提交方式是spark on yarn)

super_chenzhou 3011

手把手实战:RK3588上YOLOv8模型从训练到部署全流程解析

本文详细解析了在RK3588开发板上部署YOLOv8目标检测模型的全流程。从模型训练、正确导出适配的ONNX格式,到使用RKNN-Toolkit2进行模型转换与量化,最后在板卡上完成部署与性能测试。文章提供了完整的代码示例和关键避坑指南,帮助开发者高效实现嵌入式AI应用落地。

weixin_28224217的博客 409

Java开发者必看:如何快速对接七大主流快递API(附完整代码示例)

本文为Java开发者提供了快速对接顺丰、京东、DHL等七大主流快递API的实战指南。文章深入剖析了不同API的认证、通信协议与参数差异,并提供了高可用的HTTP客户端配置、通用签名工具、SOAP请求处理以及可扩展的领域模型与适配层设计等完整代码示例,帮助开发者构建统一、健壮的物流集成框架,显著提升开发效率。

tech5的博客 728

Hadoop生态圈集群部署(完整版)

大数据平台机器部署,包含Hadoop,Hive,Hbase,Kafka,Flink等常用组件,持续更新~

矿泉水瓶子 1119

HWSD2.0土壤数据处理实战:从下载到属性提取全流程解析

本文详细解析了HWSD2.0全球土壤数据库从数据下载、属性筛选到GIS空间连接与提取的全流程实战方法。重点介绍了如何利用ArcGIS Pro等工具,将土壤单元编码与黏粒含量等属性表关联,最终生成全球土壤属性专题栅格图,为农业规划与生态研究提供关键数据支撑。

weixin_29214691的博客 612

一篇文章带你学会Hadoop-3.3.4集群部署

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。在进行自学的时候,我们都需要自己搭建一个稳定的hadoop集群,但是hadoop的集群部署还是比较麻烦的,今天我就带你通过我的一篇文章,学会部署hadoop集群。

qq_25409421的博客 1万+

OpenCV函数用法之calibrateCamera

参考链接:opencv中标定函数calibrateCamera_ychl87的专栏-优快云博客 世界坐标系的三维点投影到成像坐标系中的二维点的投影公式如下: 其中(X,Y,Z)为世界坐标系中的三维点; (u,v)为成像面坐标系中的二维点; A为相机的内参数矩阵:(cx,cy)为主光轴点,一般为图像的中心;fx和fy为焦距; [R|t]为相机的外参数矩阵:R为旋转矩阵,t为位移矩阵; 上述公式的简单推理过程如下 考虑到镜头畸变 其中,k1,k2,k3,k4,k5和k6为径向畸变,p1和.

tiger&sheep的博客 3万+

嵌入式学习笔记- 关于电容的纹波电流

纹波电流是导致电解电容发热、影响其寿命的关键交流电流成分。它不是一种特殊的电流,而是电路中必然存在的现象。要重视,不能忽视。必须保证电路中的纹波电流 < 电容的额定纹波电流。电容鼓包爆浆,要怀疑是否是纹波电流过大或电容ESR变大所致。希望这个解释能帮助您彻底理解这个概念!二 电容纹波电流与频率的关系在大多数情况下,频率越高,电容所能承受的额定纹波电流值越大。【个人理解:因为频率越低ESR越大,具体见第三节ESR与频率的关系】下面我为您详细解释为什么会这样,以及在实际应用中如何考虑。

qq_35771411的博客 2200

Hadoop在Windows环境下的部署

经过一整天的折腾,参考了网上很多资料,我机器上的Hadoop似乎是配置成功了。下面分享一下详细的配置过程。也祝愿大家在配置的过程中少走弯路。 注意:本文的配置环境是: CygWin最新版本2.769下载地址Window7-64bitJDK1.6.0_31-win64 (JRE6)下载地址Eclipse-Indigo..Hadoop 0.20.2 (注意:0.20.203版本不可用,会导

ruby97的专栏 4万+

【C++】开源:cpp-httplib HTTP协议库配置与使用

cpp-httplib HTTP协议库配置与使用

DevFrank的博客 5547

【hadoop】windows上hadoop环境的搭建步骤

在大数据开发领域中,不得不说说传统经典的hadoop基础计算框架。一般我们都会将hadoop集群部署在服务器上,但是作为一个资深搬砖人,我们本地环境也需要一个开发hadoop的开发环境。那么,今天就安排一个在windows上搭建一个hadoop环境。

勤于笔记,成于点滴。 5190

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Windows本地部署Hadoop

本文主要详细介绍到如何在Windows环境下部署Hadoop(不涉及具体Hadoop配置文件修改)以便为了后续本地开发以及测试运行HDFS-API代码和MR-API代码准备

qq_41072814的博客 1487

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

在 Windows 平台下部署 Hadoop 开发环境

在 Windows 平台下部署 Hadoop 开发环境 ,安装并配置Hadoop,学习怎么在本地调试运行Map/Reduce程序。

savechina的专栏 3万+

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Hadoop在windows下安装部署

Hadoop大数据开发 Start 数据专业(已解决所有可能出现的问题

m0_73938805的博客 1128

windows下hadoop的部署和使用

本教程在windows10环境下安装配置hadoop+hbase+spark。 一、下载压缩包: 1、JavaJDK,1.8以上。 2、Hadoop2.8.3,下载地址:http://archive.apache.org/dist/hadoop/core/ Hadoop2.8.3windows环境下的第三方包:winutils, https://github.com/stevelough...

luoye4321的专栏 1万+

Hadoop生态圈框架部署 - Windows上部署Hadoop

Hadoop作为大数据领域的基石框架,在数据存储与处理方面展现出了卓越的性能与强大的扩展性,为海量数据的高效管理与分析提供了有力支撑。在当今数字化浪潮席卷全球,数据量呈爆发式增长的时代背景下,掌握Hadoop的安装与配置技能显得尤为重要,它是开启大数据世界大门的一把关键钥匙。无论是企业希望从繁杂的数据中挖掘商业价值,还是科研人员致力于数据分析以推动学术研究进展,Hadoop都能发挥其独特的优势。

zcs2312852665的博客 1907

Windows10环境安装hadoop及配置

Windows10环境安装hadoop及配置 一. Windows10环境下安装 1. 下载安装JDK1.8,并配置环境变量,注意:jdk路径不要包含空格,C盘中的Program Files目录名称可用PROGRA~1代替即 2. 下载Hadoop镜像安装文件,下载地址:https://hadoop.apache.org/releases.html 3. 解压Hadoop镜像文件到磁盘目录下,注意:可以解压在非C盘下,存储目录不要包含中文和空格 4...

qq_40278285的博客 1万+

五、Hadoop集群部署:从零搭建三节点Hadoop环境(保姆级教程)

本篇教程将带你一步步完成 Hadoop 集群环境的准备工作,包括如何使用 VMware 克隆虚拟机、配置 NAT 网络、分配静态 IP,并用 FinalShell 连接远程主机。过程详实配图,适合初学者参考,也方便快速搭建自己的大数据实验环境。

专注于 Agent 工程、AI 产品、Harness Engineering、LLM 算法等方向,OpenMathModel、Nivik 等开源项目作者 5万+

Windows上基于docker的Hadoop实验环境部署

西电分布式计算实验环境部署,windows上基于docker的Hadoop实验环境部署

wenhaohaohaohao的博客 1446

Windows+Docker+Hadoop的部署完整教程(一)基础依赖环境安装

Windows+Docker+pyflink的多种部署模式完整教程(一)基础依赖环境安装Docker以及基础依赖环境安装基础环境依赖1、windows下Docker安装2、Docker下基础环境配置 Docker以及基础依赖环境安装 基础环境依赖 我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客: JDK ...

qq_27493615的博客 4872

windows部署hadoop环境

a、安装jdk; b、hadoop 解压;c、环境变量设置

p715306030的博客 1741

Windows环境部署Hadoop-3.3.2和Spark3.3.2

Windows环境部署Hadoop-3.3.2和Spark3.3.2

雷神乐乐的博客 2825
上一篇: Hadoop在Windows环境下的部署
下一篇: 分享一个C++源码(有助于MFC学习)
ruby97
博客等级 码龄15年 626粉丝 23原创
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值