win7使用伪分布模式配置Hadoop2.2

小白在windows7下安装hadoop2.6.4(单机模式和伪分布式) 小白一只 经过几天努力 终于把hadoop2.6.4在window7上安装好了 特地来纪念下 因为是借助于别的教程 有些写的不是很详细  一开始是 用cygwin 来安装的 但是后面一直出这个问题  我已经下载了winutils.exe,并放在了bin目录下,环境变量什么的也设置了,就是不行,当时是分分钟想放弃了 所以对于小白来说 不太建议用cygwin来安装hadoop 阅读详情

根据网络上的教程是需要对Hadoop的源码在window环境下编译才能使用。

参考教程:http://mmicky.blog.163.com/blog/static/150290154201311136482094/


1、我没选择编译源码,而是下载hadoop-commin-2.2.zip别人编译好的文件,之后得到一些文件 (winutils.exe, hadoop.dll),把它们覆盖放入Hadoop2.2的Bin目录下。

hadoop-commin-2.2.zip 下载地址:http://download.youkuaiyun.com/detail/foart/7344477

2、安装官方提供的办法配置Hadoop2.2,最后启动是用.CMD控制台命令启动的。(当时尝试用cygwin启动总是失败,改用.CMD则顺利通过)

启动脚本在此目录下: c:\hadoop\hadoop-2.2.0\sbin


参考教程:

http://my.oschina.net/hhdys412/blog/188602

http://blog.youkuaiyun.com/jiutianhe/article/details/17688015


3、如果使用cygwin执行hadoop version后报错:

错误: 找不到或无法加载主类 org.apache.hadoop.hdfs.server.namenode.NameNode


解决办法打开Hadoop2.2里的hadoop-config.sh
找到最后一行
if [ "$HADOOP_CLASSPATH" != "" ]; then
  # Prefix it if its to be preceded
  if [ "$HADOOP_USER_CLASSPATH_FIRST" != "" ]; then
    CLASSPATH=${HADOOP_CLASSPATH}:${CLASSPATH}
  else
    CLASSPATH=${CLASSPATH}:${HADOOP_CLASSPATH}
  fi
fi


替换为
CLASSPATH=`cygpath -wp "$CLASSPATH"`
if [ "$HADOOP_CLASSPATH" != "" ]; then
  # Prefix it if its to be preceded
  if [ "$HADOOP_USER_CLASSPATH_FIRST" != "" ]; then
    CLASSPATH=${HADOOP_CLASSPATH}:${CLASSPATH}
  else
    CLASSPATH=${CLASSPATH}:${HADOOP_CLASSPATH}
  fi
fi

参考教程:

http://stackoverflow.com/questions/19363402/classpath-issue-in-hadoop-on-cygwin-while-running-hadoop-version-command

win10下设置虚拟机配置hadoop-yarn单机伪分布环境 win10下设置虚拟机配置hadoop-yarn单机伪分布环境 本文以CentOS6.5为主,虚拟机以VirtualBox,hadoop版本为2.6.2: 阅读详情

相关推荐

Hadoop学习之以伪分布模式部署Hadoop及常见问题

WARNorg.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory indfs.data.dir: Incorrect permission for /home/hadoop/testData, expected:rwxr-xr-x, while actual: rwxrwxr-x 2013-12-1314:57:36,1

skyWalker_ONLY 5545

hadoop中namenode格式化失败的解决

第一种: 如果有 第一次格式化后 产生了 tmp文件夹,先删除 /tmp/dfs/hadoop/name(可以直接把tmp文件夹删除),然后重新格式化 再执行 启动程序 start-all.sh 第二种: 如果格式化后没有生成 tmp 文件夹,把 /etc/hadoop/core-site.xml & /etc/hadoop/hdfs-site.xml 这两个文件...

qq_42796149的博客 2万+

1.2 从“跟网”到“构网”:技术范式的历史性转变

新型电力系统面临"双高"特征带来的稳定性挑战,促使并网控制技术从"跟网型"向"构网型"范式转变。传统跟网型变流器作为受控电流源依赖强电网,存在短路电流能力有限、易失稳等缺陷;而构网型变流器模拟同步发电机特性,作为受控电压源具备自主建立电压/频率、提供虚拟惯性、增强短路容量和改善系统阻尼四大核心能力。这一技术范式转变使变流器从电网跟随者变为构建支撑者,成为解决新能源大规模接入稳定性的关键。

技术工作者 718

Windows平台下安装Hadoop

1、安装JDK1.6或更高版本   官网下载JDK,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会找不到JDK(按相关说法,配置文件中的路径加引号即可解决,但我没测试成功)。 2、安装Cygwin   Cygwin是Windows平台下模拟Unix环境的工具,需要在安装Cygwin的基础上安装Hadoop,下载地址...

weixin_30835933的博客 324

别再搞混了!Vue3里xgplayer播放FLV视频与FLV直播流,配置到底差在哪?

本文详细解析了在Vue3项目中使用xgplayer播放FLV视频与FLV直播流的配置差异,帮助开发者避免常见错误。通过对比点播与直播的核心协议差异、插件选择及配置参数,提供实战代码示例和性能优化技巧,确保流畅播放体验。特别针对直播流场景,深入讲解专属配置和问题排查方法。

weixin_28687331的博客 150

Device Mapper 代码分析

Device Mapper(DM)是Linux 2.6全面引入的块设备新构架,通过DM可以灵活地管理系统中所有的真实或虚拟的块设备。DM以块设备的形式注册到Linux内核中,凡是挂载(或者说“映射”)于DM结构下的块设备,不管他们是如何组织,如何通讯,在Linux看来都是一个完整的DM块设备。因此DM让不同组织形式的块设备或者块设备集群在Linux内核面前有一个完整统一的DM表示。一、DM

SonicLing的专栏 1万+

maven项目 错误: 找不到或无法加载主类

先介绍一下项目情况: 1-使用maven命令生成的web项目, 再用maven的 mvn eclipse:eclipse命令生成对应的eclipse工程文件, 然后再导入myeclipse的。 导入后遇到如题问题, 说加载不了类. 网上说了很多种方法: 1- 菜单"Project" → "clean"; 2-项目上右键, “Properties" → “Java Build Path"

nich002的专栏 5万+

docker部署zabbix6.2.7+grafana

docker部署zabbix6.2.7+grafana。

qq_48391148的博客 3654

hadoop hdfs 添加数据目录出错

由于原来配置的hadoop data目录快要用满了,故准备修改配置文件增加数据目录,以便扩容,但由于疏忽,把core-site.xml, hdfs-site.xml配置文件dfs.datanode.data.dir 配置项增加了配置目录,但未创建实际目录,重启datanode服务时,报如下错误: 2014-11-18 08:51:39,128 WARN org.apache.hadoop.hdf

duncan 2317

Crawl4AI实战:5分钟搞定电商价格监控爬虫(附Python代码)

本文详细介绍了如何利用开源AI网络爬虫框架Crawl4AI快速构建电商价格监控系统。通过Python实战代码,展示了从环境配置、智能内容提取到多平台适配、定时任务与数据可视化的完整流程,帮助运营人员和技术开发者高效实现自动化价格追踪与竞品分析。

weixin_29090917的博客 413

CTP Python API及Demo(利用Swig 封装)Windows版(6.6.1traderapi)

环境:visual studio2015、python3.9、 参考的是景色大神的教程自己制作,因为直接用它编译好的无法使用,遂自己编译。 从CTP官网上下载CTP API点击下载。这里用的版本是v6.6.1_P1_tradeapi,想使用不同的版本下载即可: 安装Swig软件,本文中所用的Swig是swigwin-4.0.2版本,点击下载。下载后解压,将swig路径添加到环境变量中。 安装python,注意要安装64位版本,将环境变量配置好。本文所用的是3.9版本。 通过Swig得到pyth.

ProgramVAE的博客 2542

【原】Hadoop伪分布模式的安装

Hadoop伪分布模式的安装 【环境参数】 (1)Host OS:Win7 64bit (2)IDE:Eclipse Version: Luna Service Release 2 (4.4.2) (3)虚拟机:VMware 10 (4)Client OS:CentOS 6.4 32bit。 注意: 若是CentOS 64bit,则在启动hadoop时,会报出警告。 原因:Hado...

weixin_33970449的博客 131

远程声控系统(MATLAB代码见优快云资源)

远程声控系统技术报告 一、题目要求 实现一个远程声音控制系统。首先采集不同的语音指示信号,进行适当压缩;然后通过噪声信道实现远程传输,远端接收后再通过适当计算识别出是何指示,最后送入一个处于未知状态、但能控/能观的控制系统,完成不同的控制动作。 二、问题分解与解决思路 2.1 系统设计 实验中以汉语数字语音1~9作为指令,数字语音“1”代表一号指令,数字语音“2”代表二号指令,依次类推。发送端发出语音“1”,发送端对应的数字语音文件为“1b.wav”,通过信源编码对语音进行压缩编码,然后进行信道编码并进行基

业精于勤,荒于嬉 5733

Ubuntu16.04上搭建Hadoop2.7.2的单机模式和伪分布式模式

hadoop的单机模式和伪分布式模式可以说是学习hadoop的入门搭建环境,主要通过简单环境的搭建,对hadoop的MapReduce和HDFS有一个基础的认识。为分布式集群的搭建和学习起到引领的作用。   对于搭建所需的平台和软件如下:Ubuntu16.04、Hadoop2.7.2、java、sshd。以上软件都是到目前为止最新的版本。以下由于只是单机学习的目的,不考虑系统使用上的安全性,因此

monkeys2012的博客 5133

飞牛fnNAS存储模式RAID 5数据恢复

中介绍了fnNAS存储空间的几个模式,细心的网友应该能感受到,我是非常推崇RAID 5的。但我认为,一般人出现1块硬盘损坏后,就能够赶紧采取处理措施了,再高的容灾等级也无法满足这个用户的需求了。》就完成了飞牛NAS存储空间的说明,包括了如何创建、怎么选择空间模式、RAID 5 硬盘故障后的更换、系统更换/重装后数据盘的恢复等等。在VMware中新建虚拟机,安装好fnNAS后,再向虚拟机添加“已有硬盘”(这就是所谓崩溃虚拟机的数据盘),此时新的fnNAS出现提示。在“选择要添加的硬盘”中,选择刚添加硬盘。

dgnankai的专栏 3008

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

在 win7 64 上伪分布式部署 Hadoop 2.7.3

在 win7 64 上部署 Hadoop 2.7.3 主要参考链接: https://wiki.apache.org/hadoop/Hadoop2OnWindows 跳转到 Install 部分。

buxinchun的专栏 1032

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

大数据之Hadoop学习(环境配置)——Hadoop伪分布式集群搭建

title: Hadoop伪分布式集群搭建 date: 2018-11-14 15:17:20 tags: Hadoop categories: 大数据 点击查看我的博客: Josonlee’s Blog 文章目录前言准备伪分布式特点JDK 下载和环境配置配置虚拟机网络环境配置Hadoop的环境下载Hadoop上传并解压安装配置Hadoop环境变量修改hadoop配置文件配置hadoop用户免...

lzw2016的博客 1692

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

win7下安装hadoop

先前已经通过cygwin使用总结和cygwin安装sshd服务并实现无密码登录搞定了cygwin,接下来就是正式安装hadoop了(注意这里是单节点的伪分布式)。 环境及软件准备: win7(64位) cygwin 1.7.9-1 jdk-6u25-windows-x64.zip hadoop-0.20.2.tar.gz   1.安装jdk,并置java环境变量包括:JAVA_HOM

非同凡想 2万+

WSL2搭建Hadoop伪分布式环境

本文介绍了在 WSL2 的 Ubuntu 环境下,如何从零搭建 Hadoop 单机伪分布式,并配合 Spring Boot 完成基础实验。读者可以快速在本地环境中体验 Hadoop 的基本功能,并为后续大数据实验与开发打下基础。

2301_79609207的博客 1012

win10下安装Hadoop3.2.2

因为Hadoop需要依赖java环境,因此需要先安装JDK1.8(大于1.8版本的jdk需要收费,因此很多厂家开发都是依赖与jdk1.8,hadoop当然也是啦) 1.安装JDK1.8 下载JDK1.8安装包,直接清华源:https://mirrors.tuna.tsinghua.edu.cn/AdoptOpenJDK/,可以到其他的方去下载。我给忘记了是不是从这个源下载的,这个比较容易我是找的***x86_64.exe安装的。 注意:安装的时候需要就最好不要安装在Programe Files下面了,因为

weixin_42294118的博客 3857

win7+Ubuntu双系统安装以及hadoop伪分布式安装

首先安装双系统进行伪分布式实验,安装win7+ubuntu双系统: 1、右键单击“我的电脑”进入“管理”,双击“存储”,再双击“磁盘管理”,在D盘位置右击“压缩卷”,分出一个大小为50G的磁盘空间,然后格式化,之后再删除卷,作为安装ubuntu系统所用。 2、下载安装easyBCD软件,新建一个Neo Grub启动,然后在点击设置,添加一下语句: title install ubu...

dicijia0467的博客 183

Windows10环境下安装Hadoop2.7.3伪分布式

一般情况下都是在Linux环境安装Hadoop,Windows下也可以安装Hadoop,以下是Windows环境下的安装教程。 1.Windows下安装jdk1.8 点这里安装jdk1.8 2.下载Hadoop 下载hadoop2.7.3的安装包: hadoop-2.7.3.tar.gz 下载地址:http://archive.apache.org/dist/hado...

大头皮鞋的博客 1487

通过win下的eclipse连接虚拟机中伪分布的hadoop进行调试

VMware虚拟机配置Ubuntu桥接方式(Bridged)使虚拟机和宿主机能互相ping通, 通过win下的eclipse连接虚拟机中伪分布的hadoop进行调试 1、设置Bridged上网方式 Vmware菜单栏VM->settings->Network Adapter或者Ctrl+D 2、查看Bridged状态 Vmware菜单栏Edit->Virtual Netwo

白大虾 593

hadoop伪分布式环境搭建,完整的详细步骤

1、VMware142、一台ubtuntu 18 64位3、主机名位master4、ip 地址:192.168.136.315、本次实验需要的安装包。

m0_67402914的博客 1494

Ubuntu+win11双系统下hadoop伪分布式安装

有ubuntu创建hadoop用户SSH登陆权限设置配置好java。

weixin_74017833的博客 714

win7 eclipse调用虚拟机ubuntu部署的hadoop2.2.0伪分布(2)

所用软件下载网址:链接:http://pan.baidu.com/s/1bn4IIQF密码:ramg 1、在eclipse中直接运行程序调用虚拟机ubuntu部署的hadoop2.2.0伪分布   (1)右键点击TestHadoop项目中的Run As选择Run Configurations,配置TestHadoop项目的运行参数: 点击运行   问题1:运行报错如下: log4

shoubuliaolebu的专栏 2146
上一篇: orcal启动OracleDBConsoleorcl服务失败解决办法
下一篇: 点击图片或按钮打开文件对话框
cg_program
博客等级 码龄19年 245粉丝 147原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值