分布式计算
关注
分享
扫一扫
数字游民KL
数字游民
展开
-
hadoop集群环境部署之chukwa
1、tar -zxvf chukwa-0.4.0.tar.gzcp -r chukwa-0.4.0 /usr/local/cdh3u1/ 2、 修改profile文件export CHUKWA_HOME=$CLOUDER_HOME/chukwa-0.4.03原创 2011-09-20 14:30:45 · 1097 阅读 · 0 评论 -
hadoop集群环境部署之cloudera
1、下载所需要软件http://archive.cloudera.com/cdh/3/hadoop-0.20.2-cdh3u1.tar.gzhadoophttp://archive.cloudera.com/cdh/3/hbase-0.90.3-cdh3u1.tar.原创 2011-09-20 14:39:42 · 1128 阅读 · 0 评论 -
hadoop集群环境部署之lzo
hadoop 压缩/解压插件 lzo安装说明1、所需软件apache-ant-1.8.0-bin.tarant编译工具，必须大于1.7版本，否则有些属性不支持kevinweil-hadoop-lzo-23e8370.tar用来编译hadoop-lzo-0.4.13原创 2011-09-20 14:25:44 · 1088 阅读 · 0 评论 -
hadoop集群环境部署之rsyncd
可能大家都遇到过一个问题，集群部署过后如果修改的话，比较麻烦 rsyncd可以解决这个问题，让所有从节点与主节点配置同步rsyncd是个好东西【注：这里需要和hadoop配置目录下得hadoop-env.sh中得rsyncd区分开，如果在hadoop-env中的rsy原创 2011-09-20 14:53:40 · 571 阅读 · 0 评论 -
hadoop集群环境部署之chukwa客户端
1、 配置时间同步/etc/crontab00 07 * * * root /usr/sbin/ntpdate 60.28.210.10host映射配置/etc/hosts10.0.8.18 namenode-c2.hadoop.maxthon.cn #原创 2011-09-20 14:34:04 · 701 阅读 · 0 评论 -
hadoop集群环境部署之shell
【这里记录一下，环境中遇到的一些有用的解决特定问题的shell】1、如果集群中使用到了chukwa搜集数据，又需要导入hive进行分析，因为load之后，chukwa目录中会留下许多空目录，白白耗费namenode内存function clear_empty(){原创 2011-09-20 15:32:25 · 351 阅读 · 0 评论