K-night的专栏

昨天终于hadoop的项目验收完成了，终于可以松一口气了，总体还是比较满意的。首先说一下项目流程，用mapreduce对数据进行预处理，然后用mahout中的聚类算法（kmeans）对数据进行处理，最后用peoplerank对数据进行处理。根据老师交给我们的数据，包括Google+和Twitter的部分社交网络数据。以下是两个数据下载的链接http://snap.stanford.ed

实现真正的分布式的hadoop，并不是伪分布式的。一、系统与配置共准备2台机器搭建Hadoop集群。基于Ubuntu14.04，jdk1.6.0_45，Hadoop1.0.3版本，虚拟机使用VMware10.0192.168.1.10　　NameNode　　master （master）192.168.1.20　　DateNode　　 slave1（Slave）

Ganglia是UC Berkeley发起的一个开源实时监视项目，用于测量数以千计的节点，为云计算系统提供系统静态数据以及重要的性能度量数据。Ganglia系统基本包含以下三大部分。Gmond：Gmond运行在每台计算机上，它主要监控每台机器上收集和发送度量数据（如处理器速度、内存使用量等）。Gmetad：Gmetad运行在Cluster的一台主机上，作为Web Server，或者