- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 常用但是容易忘记的几个linux 命令
1 查看某进程的父进程ps axf2 编辑工具vim替换字符串:1,$s/xiongwen/simon/g3 获取某目录内文件大小分布Busyboxll -h|awk '{printf "\n" $5}'|grepK|sed 's/K//g'|wc -l4 清空系统缓存#sync#echo 3 > /proc/sys/vm/drop_caches5 一个
2014-09-01 20:21:25
915
原创 配置glusterfs 支持MapReduce 计算
前言 hdfs存储系统原生支持mapreduce计算框架，但是其对外提供的访问接口并不支持严格POSIX语义，通俗点讲就是不能直接支持其他应用，例如HDFS不能够直接文件服务器，web服务器的存储系统。尽管后续的一些模块 如fuse-dfs，webdav等尝试为HDFS提供标准接口的存储系统，但是经过多个组件的转化，存储系统效率受到了极大的影响。 一方面，考虑到存储系统和
2013-10-23 21:11:39
789
原创 安装分布式文件系统的一点心得
由于工作需要，我曾经多次安装配置过一些开源的分布式文件系统，涉及的节点也超过10台较好配置的物理机，并进行了性能测试。 涉及的分布式文件系统有moosefs，glusterfs，ceph和最常见的HDFS，从刚开始安装配置的一头雾水到现在 安装配置相对比较熟练，这个过程中有些小感悟，希望对新手有些小帮助：一，宏观上的把握在安装系统前，首先要弄清楚这样一个问题，我的分布式系统涉及哪些进程
2013-09-02 13:31:39
1087
原创 关于mapreduce性能profile工具Hitune的over head
实际overhead比intel 报告中的值高不少，我测试了8个worklaod，overhead范围为5%-%13，详细结果后续上传
2013-06-30 21:31:20
581
原创 用Hitune+chukwa 进行mapreduce 程序的性能调优
1 问题背景 深圳通地铁交通数据的处理，判断某一时间段内，任意两个不同地铁站间的流量统计，例如从地铁A站入站，从地铁B站出站的人数，在mapreduce操作里面本质上是一个分布式的join操作。2 第一次测试 在第一次测试中，数据集73GB，集群有3个计算节点，机器配置（16核，16GB内存），集群配置（map slot和reduce slot个数均为6，java虚拟机内存大
2013-06-30 09:38:06
951
原创 ubuntu12.4 环境下oprofile的安装
一 目的 安装oprofile的主要目的是观察mapreduce程序在CPU事件这个层次表现出的特征，对比了几个常见工具，最终确定利用operf来进行数据采集。Operf的特征是可以用非root用户profile单进程，并且有效作用于该进程中的任何线程和用fork产生的子进程。 二 源代码下载operf是0.9.8版出现的新工具，可能存在bug，稳定版下载页面
2013-05-26 21:50:34
1812
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人