
hadoop
文章平均质量分 53
dushenzhi
个人主页:http://dushenzhi.top
展开
-
hbase伪分布式安装
安装环境:centos6.0+jdk1.6.0_29+hadoop1.0.0+hbase0.90.4已经安装好centos6.0+jdk1.6.0_29+hadoop1.0.0环境1.到官方网站下载好hbase-0.90.4.tar.gz解压hbase安装包到一个可用目录(如:/opt)cd /opttar zxvf hbase-0.90.4.tar.gzchown -R ha原创 2012-03-05 14:24:41 · 2569 阅读 · 0 评论 -
向HDFS文件append新内容
向hdfs文件增加内容,常见的是把小文件合并成为大文件和在文件末尾新增记录。在hdfs文件末尾新增字符串内容:FileSystem hdfs = FileSystem.get(conf);FSDataOutputStream out;if(!hdfs.exists(fpath))out = hdfs.create(fpath);else out = hdfs.append(fpa原创 2012-11-07 16:56:50 · 2975 阅读 · 0 评论 -
用Python编写MapReduce的WordCount实例程序
条件,假设hadoop环境和python环境已经安装好,且hadoop已正常启动Hadoop Streaming为python的语言提供了编写MapReduce程序的map和reduce的方法,下面介绍如何用Python编写一个WordCount实例程序。map过程的python源文件wc_map.py:#!/usr/bin/env pythonimport sysfor line原创 2013-07-15 18:05:01 · 3818 阅读 · 2 评论