
hadoop2.0
文章平均质量分 54
昨日飞升
一句话懒散,根本就没有努力到拼天赋的时候。。。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hadoop2.0为分布式搭建
本文转载自http://www.iteblog.com/archives/790 首先,你得在电脑上面安装好jdk7,如何安装,这里就不说了,网上一大堆教程!然后安装好ssh,如何安装请参见本博客《Linux平台下安装SSH》、并设置好无密码登录(《Ubuntu和CentOS如何配置SSH使得无密码登陆》)。好了,上面的前提条件部署好之后,下面将进入Hadoop2.2.0的部署。 运转载 2014-05-05 18:18:15 · 670 阅读 · 0 评论 -
hdfs清理回收站
转载自:http://blog.youkuaiyun.com/chenyi8888/article/details/7280032 Hadoop回收站trash,默认是关闭的。 修改conf/core-site.xml,增加 property> name>fs.trash.intervalname> value>3value> description>N转载 2014-07-28 16:04:40 · 2117 阅读 · 0 评论 -
ambari安装以及基于ambari的hadoop集群搭建
Ambari安装文档 英文安装文档: https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+1.6.0+from+Public+Repositories原创 2014-06-13 17:37:08 · 1208 阅读 · 0 评论 -
从本地上传整个文件夹到hdfs的java程序
从本地上传整个文件夹到hdfs的java程序原创 2014-07-25 10:50:49 · 5041 阅读 · 2 评论 -
had oop手动退出安全模式
我们学习的时候可能需要重启hadoop集群,可能会碰到hadoop原创 2014-06-14 04:57:14 · 1075 阅读 · 0 评论 -
CHD4安装hadoop2.0
Cdh4安装需要支持的系统和jdk版本。 Jdk版本兼容: 1.6.0.31至少。对于jdk1.7,cdh4.2和以后的版本支持,jdk至少1.7.0_15 系统兼容如下: 我采用的是centos6.4 ,64位版本。Jdk是1.6.0.45(64位版本),所以如下命令也是在centos6.4(64位)下,如果您采用了别的版本,请访问下方地址。如果您需要使用可以联系原创 2014-06-04 15:53:48 · 1223 阅读 · 0 评论 -
hadoop 0.23 YARN分布式程序的编写 (Hadoop MapReduce Next Generation - Writing YARN Applications)
转载自:http://blog.youkuaiyun.com/bertzhang/article/details/7102579 本来想直接转载过来,但是转载 2014-05-13 18:00:46 · 896 阅读 · 0 评论 -
Apache Hadoop 2.2.0MapReduce1.x向2.x迁徙
在hadoop的2.x中我们引入了一个资源管理器,一个分布式应用的管理框架,同时MRv2仍然是一个纯净的分布式计算框架。 总的来讲,以前的MR应用(MRv1)仍然支持不需要做任何修改。因此MRv2仍然大部分支持MRv1的应用,不过仍然需要代码改进和重构,一些api将被不推荐使用。 余下部分将会讨论MRv2的向后兼容能力。 二进制兼容 首先基于旧mapred api的二进制程原创 2014-05-13 17:55:50 · 758 阅读 · 0 评论 -
hadoop2.0集群搭建
hadoop2.2.0集群搭建 PS:apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的, 因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装 hadoop-2.2.0就需要重新在64操作系统上重新编译 1.准备工作:(参考伪分布式搭建) 1.1修改Linux转载 2014-05-05 16:49:20 · 668 阅读 · 0 评论 -
hadoop2.0全分布环境搭建
经过好多天的各种折腾,终于在几台电脑里面配置好了Hadoop2.2.0分布式系统,现在总结一下如何配置。 前提条件: (1)、首先在每台Linux电脑上面安装好JDK6或其以上版本,并设置好JAVA_HOME等,测试一下java、javac、jps等命令是否可以在终端使用,如何配置JDK这里就不说了; (2)、在每台Linux上安装好SSH,如何安装请参加《Linux平台下安转载 2014-05-05 18:23:30 · 851 阅读 · 0 评论 -
MapReduce程序处理hdfs中数据乱码问题
最近在写MapReduce程序,实现Writable接口时发现总是读不进中文字,读出来全是乱码,找了一晚上发现问题,原来hadoop只支持UTF-8的字符集,因此,在存储Text变量时要先把string变量转换成UTF-8的字符集,再给Text赋值。问题解决。原创 2014-07-28 16:06:00 · 3179 阅读 · 0 评论