CloudSuite环境搭建

2016-4-13更新：

CloudSuite已经更新到3.0版本，安装方式发生了很大的变化，本文不再有效。

现在CloudSuite采用Docker镜像的方式分发，只需要安装Docker后docker pull几个镜像就可以运行了，十分简单。

Docker是利用Linux Kernel中的容器技术，做的轻量级虚拟化。和虚拟机的类似之处在于直接下载镜像文件即可运行。和虚拟机不同之处在于，性能损失非常小，但当前也做不到绝对的隔离。

1.http://parsa.epfl.ch/cloudsuite/cloudsuite.html CloudSuit是一套用于测试服务器云服务性能的工具，我们采用这套软件提供的测试工具进行测试，同时用Pin来记录对于内存的访问情况，以便进行后续的分析。

2.系统安装：Fedora 19，在数次进入安装的过程中遭遇黑屏重启后，意识到了Fedora19采用了GNOME3，很可能是显卡的问题。于是选择basic graphical mode，成功安装。（SSD果然神速）

3.系统配置：Fedora19虽然也用的是RPM包，但和OpenSUSE强大的YaST不同，我们需要用yum来进行包管理。yum的具体使用，查看man就能知晓不少，不过常用的也就update和install。/etc/yum.repos.d/下是所有的源的配置文件。显卡驱动一直是Linux用户的心病，所以就不强求了，有1024×768就够用了，虽然是1065×1028的显示器。（应该是这个分辨率）数次安装Nvidia的官方驱动，最终都以640*480的分辨率告败。

4.Benchmark 1:Data Analytics 采用Mahout提供的库，基于Hadoop，对Wikipedia的全部数据进行分析。

5.Hadoop配置：新建用户组，添加用户，修改密码；配置SSH，启用sshd服务，生成密钥，注意修改密钥的权限为只读；解压Hadoop，设置所属用户，修改配置文件；格式化HDFS；尝试启动和停止Hadoop。

6.Maven配置：Mahout需要使用Maven来进行编译安装；编译Maven；设置环境变量，加入到PATH中。

7.Java配置：OpenJDK对于很多软件存在兼容性问题，而且自带的只有JRE，没有开发环境；下载SunJDK的tar包，解压缩，放到合适的位置；设置.bashrc的JAVA_HOME、PATH和CLASSPATH；采用update-alternetives --config java（java -version）来查看配置是否成功。

8.Mahout配置：

mvn -DskipTests install;cd core;mvn -DskipTests compile;mvn -DskipTests install;cd ../examples;mvn -DskipTests compile

其中-DskipTests是跳过测试，测试会耗费大量时间，大概在一个多小时左右，而直接编译安装只需要几分钟。

9.Run Benchmark 1:下载维基百科的数据，解压缩出XML文件，放到Mahout下的temp中；采用Mahout对数据进行分块

10.Benchmark 2:Data Caching 采用memcached做缓存服务器，使用loader来发起请求，twitter的数据作为测试数据，得到最大的rps(requst per second)

11.Server配置：安装Memcached；启动Memcached

12.Client配置：编译loader（保证依赖的库齐全）

13.Server Warm-Up：用twitter的unscaled data来生成因子为30的测试数据；同时预热服务器。

14.Run Benchmark 2：用loader来对服务器发起大量请求，通过不断调整rps来找到最大的rps。

15.内存访问记录：Pin，Intel的工具，记录进程对于寄存器、内存的访问；Pintools，基于Pin开发的一系列工具，此处我们用到Footprinter（不包含在默认的包里）；loclab