Hadoop在Windows环境下的部署(续)

VMware搭建Hadoop集群 for Windows(完整详细,实测可用)_vmware安装hadoop教程(1) SSH服务的作用一般是有两方面:一是便于虚拟机节点之间免密访问,二是传输数据时会有加解密的过程安全性更高。为了这三个节点间免密登录,比如后面在启动hadoop服务时,主节点启动其它从节点,就需要免密去执行。下载一个linux版本的JDK,这里是 jdk-8u161-linux-x64.tar.gz,3台机器均要执行以下。hadoop02、hadoop03修改时,把对于域名修改成hadoop02、hadoop03即可。这里我们需要借助ftcp文件传输软件,这里使用的是**MobaxTerm,* 阅读详情

本文接上一篇:http://blog.youkuaiyun.com/ruby97/article/details/7423088

上一篇最后贴的图是在Eclipse下查看文件系统组成。

配置Eclipse插件请参考http://www.cnblogs.com/flyoung2008/archive/2011/12/09/2281400.html

------------------------------------------------------------------------------------------

继续上一篇。上传完视频以后,可以通过如下几个命令查看系统的运行情况:

bin/hadoop dfsadmin -report



bin/hadoop dfs -lsr / 查看文件系统



OK。我在配置过程中主要遇到的错误是:


错误1. ...could only be replicated to 0 nodes,instead of 1



这个错误主要的解决方法是:

1.把 tmp文件全部删除。

2.然后把hadoop/conf目录下的slaves,masters文件内容全部改成 127.0.0.1

3.重新格式化namenode :(bin/hadoop namenode -format)

也许你不知道hadoop 的tmp文件在哪里,默认情况下应该才 cygwin根目录下的tmp文件夹内:

如下图所示:


把它们都删掉。就OK了。 (cd /tmp  ,   rm -rf *)

参考博客:http://albb0608.iteye.com/blog/1279495


错误2:

name node is in safe mode

直接输入命令: bin/hadoop dfsadmin -safemode leave 离开安全模式

----------------------------------华丽分割------------------------------

记录配置过程到此结束,如有错误,烦请指出,不胜感激。

Windows上搭建Hadoop环境指南 Hadoop是一个开源框架,设计用于存储和处理大数据。它能够通过简单的编程模型在集群上运行应用程序,并且能够跨成百上千的廉价硬件节点提供高吞吐量的数据访问。Hadoop最初由Apache软件基金会支持,是大数据技术生态中的关键组件。core-site.xml文件是Hadoop配置的核心,用于定义Hadoop的系统级参数,例如文件系统的默认类型、IO设置等。我们来看一个典型的core-site.xml配置文件片段:<property><property>-- 其他配置项 --> 阅读详情

相关推荐

在Windows平台上部署Hadoop的详细指南

Hadoop由Apache软件基金会支持,最初由Doug Cutting领导,旨在简化大数据的存储和处理。自2006年开源以来,它已成为大数据处理领域不可或缺的工具。Hadoop的核心是HDFS(Hadoop Distributed File System)和MapReduce编程模型,它们共同提供了一种在集群上存储和处理大量数据的有效方式。本章节重点介绍了Hadoop配置文件的概览、核心配置文件编辑方法以及如何验证和调试配置文件。在Hadoop集群部署和管理过程中,这些配置文件扮演着至关重要的角色。

weixin_30923011的博客 1161

Hadoop大数据集群搭建(超详细)

本文主要介绍了Hadoop集群的搭建过程,图文详细,适合新手入门

小飞飞V5的博客 6万+

SAP SD跨公司销售IDOC自动记账配置实战指南

本文详细介绍了SAP SD模块中跨公司销售IDOC自动记账的配置实战指南。通过IDOC技术实现集团企业间交易的自动化处理,显著提升财务效率和准确性。文章涵盖前置配置、RFC连接、合作伙伴参数设置及财务科目分配等关键步骤,并提供了常见错误排查和性能优化建议,帮助用户快速掌握这一高效业务流程。

weixin_29284885的博客 773

hadoop本地化windows部署

· hadoop on windows · hive on windows · spark on windows(提交方式是spark on yarn)

super_chenzhou 3011

DCM4CHEE Archive Light 应用配置-存储配置

本文介绍了在DICOM归档系统中配置和管理存储的方法,包括通过用户界面和LDAP导入两种方式。主要内容包括: 存储配置概述:用户可根据需求配置单个或多个存储设备,支持在磁盘空间不足或多任务并行时使用。存储分为Archive设备级(序列元数据存储)和Application Entity级(对象存储/元数据存储)。 用户界面操作: 设备级存储配置:通过菜单导航添加/编辑存储描述符,设置Storage ID、URI等关键参数 应用级存储引用:在设备扩展和网络AE中分别配置元数据和对象存储引用 LDAP配置方法:

洪城叮当的博客 1419

基于FastLIO2与TEB算法的机器狗自主导航系统实战

本文详细介绍了如何为机器狗构建一套基于FastLIO2与TEB算法的自主导航系统。通过整合FastLIO2激光惯性里程计实现精准定位,并采用TEB局部规划器进行灵活路径规划与动态避障,解决了传统方案在复杂地形下反应慢、易碰撞的问题。文章提供了从环境搭建、算法部署、地图转换到系统调试的完整实战指南,帮助开发者实现机器狗的稳健自主行走。

beer8的博客 326

Hadoop生态圈集群部署(完整版)

大数据平台机器部署,包含Hadoop,Hive,Hbase,Kafka,Flink等常用组件,持续更新~

矿泉水瓶子 1119

Qwen-Image LoRA训练实战:从数据准备到异常修复的全流程解析

本文详细解析了Qwen-Image LoRA训练的全流程,从数据准备到参数优化再到异常修复。通过实战案例展示了如何利用LoRA技术微调Qwen-Image模型,提升中文场景下的图像生成质量,特别针对手脚生成异常等问题提供了有效解决方案。文章还分享了中文提示词优化技巧和高级训练方法,帮助开发者高效训练出高质量的LoRA模型。

lemon的博客 970

一篇文章带你学会Hadoop-3.3.4集群部署

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。在进行自学的时候,我们都需要自己搭建一个稳定的hadoop集群,但是hadoop的集群部署还是比较麻烦的,今天我就带你通过我的一篇文章,学会部署hadoop集群。

qq_25409421的博客 1万+

嵌入式开发也玩“全家桶”?手把手教你用CLion+PyOCD调试APM32,比OpenOCD更简单

本文详细介绍了如何使用CLion和PyOCD组合进行APM32嵌入式开发,提供从环境配置到实战调试的完整指南。相比传统工具如Keil和OpenOCD,这套方案更轻量、易用,特别适合现代开发者需求,涵盖CMake配置、PyOCD调试技巧及常见问题解决。

weixin_42543046的博客 465

STM32+OpenCV云台PID调参实战:从震荡到丝滑跟踪的进阶之路

本文详细介绍了基于STM32和OpenCV的跟踪云台PID调参实战经验。从硬件搭建、PID控制原理到调参技巧,系统讲解了如何通过调整比例、积分和微分参数解决系统震荡问题,实现从震荡到丝滑跟踪的进阶过程,特别适合电赛和嵌入式视觉控制开发者参考。

tgb3456789的博客 717

Hadoop在Windows环境下的部署

经过一整天的折腾,参考了网上很多资料,我机器上的Hadoop似乎是配置成功了。下面分享一下详细的配置过程。也祝愿大家在配置的过程中少走弯路。 注意:本文的配置环境是: CygWin最新版本2.769下载地址Window7-64bitJDK1.6.0_31-win64 (JRE6)下载地址Eclipse-Indigo..Hadoop 0.20.2 (注意:0.20.203版本不可用,会导

ruby97的专栏 4万+

arduino esp8266_Arduino传感器教程 第22章ESP8266 控制 5V 继电器

ESP8266控制5V继电器目录一、NodeMCU二、工作原理本文将使用亚马逊 AlexaEcho 和 ESP8266 控制 5V 继电器。NodeMCUNodeMCU 是一个开源的 IoT 物联网硬件开发板,由于它支持 WIFI 功能且使用方法十分类似 Arduino 开发板,所以近些年获得了越来越多来自全世界的创客朋友们的青睐。NodeMCU 尺寸与 Arduino Nano 类似。...

weixin_39611722的博客 3460

【hadoop】windows上hadoop环境的搭建步骤

在大数据开发领域中,不得不说说传统经典的hadoop基础计算框架。一般我们都会将hadoop集群部署在服务器上,但是作为一个资深搬砖人,我们本地环境也需要一个开发hadoop的开发环境。那么,今天就安排一个在windows上搭建一个hadoop环境。

勤于笔记,成于点滴。 5190

基于ZYNQ的HP总线与DDR交互:实现PL与PS高效数据传输的完整指南

本文将深入探讨如何通过AXI HP总线实现PL与PS的DDR交互,结合代码示例、硬件配置与创新优化,助力开发者掌握这一关键技术。ZYNQ内部通过AXI HP接口直接连接PL与DDR控制器,PL通过AXI协议发送读写请求,绕过PS的CPU直接操作DDR。通过AXI HP总线实现PL与PS的DDR交互,开发者可充分发挥ZYNQ异构架构的优势。在Xilinx ZYNQ系列芯片中,PS(Processing System)与PL(Programmable Logic)的协同设计是其核心优势。

QQ_778132974的博客 1226

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Windows本地部署Hadoop

本文主要详细介绍到如何在Windows环境下部署Hadoop(不涉及具体Hadoop配置文件修改)以便为了后续本地开发以及测试运行HDFS-API代码和MR-API代码准备

qq_41072814的博客 1487

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

在 Windows 平台下部署 Hadoop 开发环境

在 Windows 平台下部署 Hadoop 开发环境 ,安装并配置Hadoop,学习怎么在本地调试运行Map/Reduce程序。

savechina的专栏 3万+

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Hadoop在windows下安装部署

Hadoop大数据开发 Start 数据专业(已解决所有可能出现的问题

m0_73938805的博客 1128

windows下hadoop的部署和使用

本教程在windows10环境下安装配置hadoop+hbase+spark。 一、下载压缩包: 1、JavaJDK,1.8以上。 2、Hadoop2.8.3,下载地址:http://archive.apache.org/dist/hadoop/core/ Hadoop2.8.3windows环境下的第三方包:winutils, https://github.com/stevelough...

luoye4321的专栏 1万+

Hadoop生态圈框架部署 - Windows上部署Hadoop

Hadoop作为大数据领域的基石框架,在数据存储与处理方面展现出了卓越的性能与强大的扩展性,为海量数据的高效管理与分析提供了有力支撑。在当今数字化浪潮席卷全球,数据量呈爆发式增长的时代背景下,掌握Hadoop的安装与配置技能显得尤为重要,它是开启大数据世界大门的一把关键钥匙。无论是企业希望从繁杂的数据中挖掘商业价值,还是科研人员致力于数据分析以推动学术研究进展,Hadoop都能发挥其独特的优势。

zcs2312852665的博客 1907

Windows10环境安装hadoop及配置

Windows10环境安装hadoop及配置 一. Windows10环境下安装 1. 下载安装JDK1.8,并配置环境变量,注意:jdk路径不要包含空格,C盘中的Program Files目录名称可用PROGRA~1代替即 2. 下载Hadoop镜像安装文件,下载地址:https://hadoop.apache.org/releases.html 3. 解压Hadoop镜像文件到磁盘目录下,注意:可以解压在非C盘下,存储目录不要包含中文和空格 4...

qq_40278285的博客 1万+

五、Hadoop集群部署:从零搭建三节点Hadoop环境(保姆级教程)

本篇教程将带你一步步完成 Hadoop 集群环境的准备工作,包括如何使用 VMware 克隆虚拟机、配置 NAT 网络、分配静态 IP,并用 FinalShell 连接远程主机。过程详实配图,适合初学者参考,也方便快速搭建自己的大数据实验环境。

专注于 Agent 工程、AI 产品、Harness Engineering、LLM 算法等方向,OpenMathModel、Nivik 等开源项目作者 5万+

Windows上基于docker的Hadoop实验环境部署

西电分布式计算实验环境部署,windows上基于docker的Hadoop实验环境部署

wenhaohaohaohao的博客 1446

Windows+Docker+Hadoop的部署完整教程(一)基础依赖环境安装

Windows+Docker+pyflink的多种部署模式完整教程(一)基础依赖环境安装Docker以及基础依赖环境安装基础环境依赖1、windows下Docker安装2、Docker下基础环境配置 Docker以及基础依赖环境安装 基础环境依赖 我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客: JDK ...

qq_27493615的博客 4872

windows部署hadoop环境

a、安装jdk; b、hadoop 解压;c、环境变量设置

p715306030的博客 1741

Windows环境部署Hadoop-3.3.2和Spark3.3.2

Windows环境部署Hadoop-3.3.2和Spark3.3.2

雷神乐乐的博客 2825
上一篇: Hadoop在Windows环境下的部署
下一篇: 分享一个C++源码(有助于MFC学习)
ruby97
博客等级 码龄15年 626粉丝 23原创
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值