薇酱的博客

Hadoop的核心是HDFS和MapReduce1.HDFS的特点是，适合于1）大数据2）硬件廉价3）高容错性4）文件分块存储5）流式数据访问，不支持动态改变文件内容它的关键元素有：Block：一般大小为64M,NameNode：保存整个文件系统的目录信息，分块信息，文件信息，由唯一一台主机专门保存，在Hadoop2*版本中支持activity-stan

1.jar包名不一致利用python和c等语言在hadoop上写MapReduce程序，需要用到streaming组件，我在网上找了相关的文档，基本上都是同一篇写wordcount的。我发现这篇文章是08年写的，环境和我现在用的并不一样。所用的命令bin/hadoop jar contrib/streaming/hadoop-0.19.1-streaming.jar -mapper /h

我一般都是用python，shell这些脚本语言来编写程序，由于工作原因，要写mr程序，但是在网上找了找，全部都只有wordcount的代码，不是特别容易理解，就想写一篇文章来讲讲使用时的注意事项。submit.sh:. ./conf/hadoop.conffunction impression_hadoop(){ ${HADOOP} jar ${HADOOP_STRE...