lifeneedyou的专栏

       安装环境     写道 两台主机：192.168.1.2 bigdata2192.168.1.4 bigdata3      1  安装JDK （两台主机安装一个版本的JDK）    [root@bigdata2 bin]# echo $JAVA_HOME /opt/java/jdk1.6.0_45         2 安装SSH，配置面密码登录（bigd...

      搭建好了Eclipse的开发环境，接下来就是Helloword，hadoop 的HelloWord是一个Wordcount的例子，就是统计单词在不同的文档里出现的次数。        我这边准备了三个文档：（存入hdfs 的文件系统中)   [root@bigdata2 hadoop-1.0.1]# ./bin/hadoop fs -cat /user/root/in/hel...

hadoop 性能调优  1调优主要集中在另个方面   A 减少运算时间    B减少磁盘空间占用率   CIo方面的优化  2 Hadoop自身会将Task分配给正在空闲的节点去做，这样可以充分利用资源，并且会将Map任务分配给InputSplit所在的集群，以减少IO的开销，提升运算速度。  3我们知道，在编写MapReduce程序时，Map的中间输出结果可能会很多，很大，对其进行压缩可以减少...

          mongodb是NoSQl领域里非常流行的一款非关系型数据库，提供了强大的分片存储与查询功能，用来做历史数据（日志）存储与查询比较适合，本身也提供了mapreduce功能，但是并不是任何时候Mongodb的使用者都会使用分片功能，更大的可能是使用副本集的方式（有时候机器并不多），而Hadoop提供了HDFS和分布式计算的功能，我们可以利用hadoop的MapReduce来取代...