
hadoop配置
文章平均质量分 85
fansy1990
这个作者很懒,什么都没留下…
展开
-
Hadoop1.0.3 集群配置
今天做了一下hadoop集群的相关配置,搞了半天才搞定,中间遇到了大概两个问题。先说基本配置吧:1、下载jdk、hadoop安装文件,最好下载 *.tar.gz文件,这样直接解压就可以了,配置路径主要是在/etc/profile中配置,配置完成后,使用 source /etc/profile使配置生效;比如我有三个主机,一个master,两个slaves,那么首先我在三台机上都配置好jdk原创 2012-09-12 17:32:14 · 2624 阅读 · 0 评论 -
No job jar file set. User classes may not be found. See Job or Job#setJar(String)
软件版本:hadoop2.2 ,eclipse4.5 ,jdk1.7问题描述:在进行Java程序调用Hadoop集群时,使用下面的代码时,运行会给出如题所示提示job.setJarByClass(SampleJob.class);可是明明是设置了JarByClass为什么提示没有设置呢?预备知识:1. java调用Hadoop的时候,直接配置Configuration即可直接调用hadoop,运行原创 2016-03-17 11:35:31 · 12189 阅读 · 0 评论 -
requestedMemory=-1
软件版本: Hadoop2.6.0 (源码使用CDH5.7.0 ,对应hadoop 2.6.0),集群使用Hadoop2.6.4(原生,JDK1.8), Intellij idea14 (JDK1.8);问题描述: 使用Intellij IDEA编译打MR程序的Jar包,可以直接在终端使用hadoop jar的方式运行,但是直接在Intellij IDEA中提交却任务失败?查询日志表现为:2016原创 2016-10-26 23:03:44 · 4359 阅读 · 0 评论