chang_harry的专栏

http://www.youkuaiyun.com/article/2013-03-11/2814446-hadoop_ecosystem_infographic

今天折腾了一天，终于搞明白了几点：1. Mapper和Reducer的单元测试可以在windows环境下的Eclipse中进行。     我用的hadoop 1.1.1。 需要有hadoop-core-1.1.1.jar，MRunit0.9.0, Mockito-all-1.8.5.jar, 还有几个hadoop 1.1.1的lib目录下的几个包。     要用MRUnit Tutor

>  150Lthe following is written.----------------------------------------------------------------------------------------------------------------------With this setup, it is easy to use any c

中小规模Hadoop集群优化来源： 白伯纯的日志人人网的数据平台分为事前和事后两部分。事前数据分析是在开发阶段就有系统规划的统计点，事后数据分析恰恰相反，一般统计的是现有业务的历史。这两种方法是互补的，事先埋点的粒度更细，实时性更强，事后统计的适用范围更广，调整更灵活。我们的事后数据分析用Hadoop搭建。这个集群从上个月开始遇到一系列性能问题，在逐一解决的过程中，积累

On Windows with Cygwin, you can set up an SSH server (after havinginstalled the openssh package) by running ssh-host-config -y.Then type "ssh localhost". and i got a wrong message"ssh: connect t

Hadoop 解除 "Name node is in safe mode"（转）(2011-08-02 20:10:40) 标签：杂谈 运行hadoop程序时，有时候会报以下错误：org.apache.hadoop.dfs.SafeModeException: Cannot delete/user/hadoop/input. Na

每次重启机器后，直接键入命令$start-all.sh.然后从本地往hdfs中拷贝文件，$ hadoop fs -copyFromLocal ./gequ01.mp3 gequ02.mp3 都会发生错误。13/03/20 22:31:11 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Alr

while copying local files to hdfs, the following Exception occurred.$ hadoop fs -copyFromLocal input/quangle.txt quangle2.txt13/03/20 17:37:03 WARN hdfs.DFSClient: DataStreamer Exception: org.apac

想做一个搜索引擎，最近浏览了许多社区，发现Lucene和Nutch用的很多，而这两个我总感觉难以区分概念，于是在查了些资料。下面是Lucene和Nutch创始人Doug Cutting 的访谈摘录： Lucene其实是一个提供全文文本搜索的函数库，它不是一个应用软件。它提供很多API函数让你可以运用到各种实际应用程序中。现在，它已经成为Apache的一个项目并被广泛应用着。这里列出一些已经使用