
Hadoop
z278718149
目前在做编译器工具链。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Error:Call to localhost/127.0.0.1:9000 failed on connetion exception: java .net.ConnectionException:
在配置文件是使用了localhost 或 127.0.0.1,此时应该改为真实的ID,包括core-site.xml,mapred-site.xml,slaves,使用命令行ifconfig查看你的系统真实Id。原创 2014-03-28 11:06:33 · 1251 阅读 · 1 评论 -
Hadoop MapReduce Next Generation - CLI MiniCluster.
1.Purpose使用CLI MiniCluster,用户原创 2014-04-13 13:44:06 · 506 阅读 · 0 评论 -
File System Shell
1概括文件系统脚本包括多种shell-like命令,这些命令直接和HDFS相互作用,此外也需要其他文件系统Hadoop的支持,比如Local FS,HFTP FS,S3 FS,和其他的。FS 脚本被调用:bin/hadoop fs 所有的FS 脚本把路径的URL作为参数。URL的格式是scheme://authority/path。对于HDFS的scheme是hdfs,其他原创 2014-04-03 19:43:57 · 546 阅读 · 0 评论 -
hadoop 命令
1.概括 所有的hadoop 命令是通过bin/hadoop脚本调用。运行没有任何参数的hadoop脚本显示所有命令的描述。 语法: hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS] 可选命令 描述 --config confdir原创 2014-04-02 19:00:12 · 702 阅读 · 0 评论 -
Apache Hadoop 2.3.0
Apache Hadoop 2.3.0由以前稳定的(hadoop-1.x)改善组成。下面是对HDFS和MapReduce的改善的一个简短的概括。 HDFS Federation为了扩展名称服务水平,联合使用多个独立的namenodes或命名空间。Namenodes是联合起来的,也就是说,Namenodes是独立的,不需要协调彼此。通过所有的Namenodes块,datanodes被作为原创 2014-03-22 14:30:20 · 472 阅读 · 0 评论 -
Apache Hadoop是什么
Apache Hadoop是一个高效的、可扩展的、分布式计算的开源项目。Apache Hadoop库是一个框架,这个框架允许通过使用简单编程模型的大数据集和计算集群的分布式处理。它的设计规模从单一服务器到数千机器,每一个都提供本地计算和存储。而不是依靠硬件提供高可用行。它的库本身是用来检测和处理应用层的错误,因此将在计算集群高可用的服务,每一个都可能失败。Apache Hadoop包括以下原创 2014-03-22 11:34:22 · 1190 阅读 · 0 评论 -
Hive使用
刚开始我一直不能使用hive sql 经过一番周折终于发现了得先到hive安装目录下然后使用命令./bin/hive就可以了原创 2014-04-01 19:55:27 · 568 阅读 · 0 评论 -
org.apache.hadoop.mapreduce.lib.input.InvalidInputException:input path does not exist:hdfs://10.0.2.
org.apache.hadoop.mapreduce.lib.input.InvalidInputException:input path does not exist:hdfs://10.0.2.15:9000/user/zhaoainan/input经过上网查阅知道input目录没加入到hdfs中去命令为:hadoop fs -put conf input原创 2014-04-01 18:56:39 · 1435 阅读 · 0 评论 -
org.apache.hadoop.security.AccessControlException:org.apache.hadoop.security.AccessControlException:
org.apache.hadoop.security.AccessControlException:org.apache.hadoop.security.AccessControlException:Permission denied:user=root,access=WRITE,inode="mapred"怎么解决呀?解决:在conf/hdfs-site.xml里加dfs.per原创 2014-04-01 18:40:37 · 550 阅读 · 0 评论 -
编辑文章 - 博客频道 - youkuaiyun.com
1目的本篇文档介绍Apache Hadoop项目的目标:相容性。hadoop的发布影响Hadoop的开发者,以前的项目。Hadoop的发布和最终用户之间的兼容性的不同类型是可列举的。对于每一种兼容性:描述了以前项目和最终用户的影响,在使用的情况下,呼喊在改变的不相容性在Hadoop的开发者是能够允许的的策略。2兼容类型2.1Java APIHadoop的接口和类的注释描述了预期的观原创 2014-04-12 18:13:25 · 743 阅读 · 0 评论 -
Ubuntu eclipse 安装hadoop插件
1.下载hadoop-eclipse-plugin-1.2.1.jar然后复制到eclipse目录下的plugins下,然后重启Eclipse2.但是我的启动后却没有Map/Reduce,经过一番查找,终于发现第一次下载的jar有错误,所以又重新下载一个,再重新部署,重启Eclipse就OK了。http://hi.baidu.com/ritchie_wang/item/4c64191178原创 2014-03-27 12:47:26 · 852 阅读 · 0 评论 -
编辑文章 - 博客频道 - youkuaiyun.com
1目的本篇文档介绍Apache Hadoop项目的目标:相容性。hadoop的发布影响Hadoop的开发者,以前的项目。Hadoop的发布和最终用户之间的兼容性的不同类型是可列举的。对于每一种兼容性:描述了以前项目和最终用户的影响,在使用的情况下,呼喊在改变的不相容性在Hadoop的开发者是能够允许的的策略。2兼容类型2.1Java APIHadoop的接口和类的注释描述了预期的观原创 2014-07-18 17:33:33 · 586 阅读 · 0 评论