- 博客(21)
- 收藏
- 关注
RSS订阅转载 监控Linux网络流量的脚本
#!/bin/bash if [ -n "$1" ]; then eth_name=$1 else eth_name="eth0" fi i=0 send_o=`ifconfig $eth_name | grep bytes | awk '{print $6}' | awk -F : '{print $2}'` recv_o=`ifconfig $eth_name |
2012-04-23 15:26:24
2876
原创 distcp使用纪要
distcp主要用于在hadoop集群之间拷贝数据。1，如果haboop版本相同，可以使用如下格式hadoop distcp hdfs:///src hdfs:///des2, 如果在不同版本的hadoop集群之间拷贝数据，可以使用如下格式hadoop distcp -i hftp://>/src hdfs:///des注意，这个时候，需要在目标集群上运行dis
2012-04-23 15:21:35
3381
转载 hadoop-0.23编译
Hadoop-0.23.0 eclipse环境搭建by 老刘 posted on OCTOBER 2, 2011主要参考 https://wiki.apache.org/hadoop/EclipseEnvironment这里考虑0.23版本svn co http://svn.apache.org/repos/asf/hadoop/common/branches/bran
2012-04-12 17:53:40
2911
转载 Google Protocol Buffers安装
试用Google Protocol Buffers试用了google Protocol Buffers, 2.0.0 beta 版本，感觉还不错。可以去这里下载，有linux和windows版本。Protocol Buffers是一个平台中立，编程语言无关的，可扩展的机制，用来将数据序列化。有点类似xml，但是比xml更小更快更简单。
2012-04-12 17:16:18
2692
转载 hadoop 0.23 编译
hadoop development environment to build7 people Bookmark this article 我要收藏 5 months ago 523 reads 1 commentshadoop development environment set up:hadoop website:http://hadoop.apache.
2012-04-12 16:52:03
2651
转载 关于Linux的缓存内存 Cache Memory详解
zz fromhttp://www.ha97.com/4337.html前天有朋友问我，为啥我的Linux系统没运行多少程序，显示的可用内存这么少？其实Linux与Win的内存管理不同，会尽量缓存内存以提高读写性能，通常叫做Cache Memory。有时候你会发现没有什么程序在运行，但是使用top或free命令看到可用内存free项会很少，此时查看系统的
2012-04-05 16:07:22
2446
原创 HDFS的recoverLease和recoverBlock的过程分析
最近需要搞一下Lease，分析一下recoverLease的过程，顺带把recoverBlock的过程分析一下。一、 recoverLeaserecoverLease是恢复租约，我理解为释放文件之前的租约，close文件，报告namenode。recoverLease有两条路径去调用1. DistributedFileSystem.create -> DFSClient.c
2012-03-22 22:00:55
5886
翻译 Append在HDFS中的发展历程
File Appends in HDFSby Tom WhiteJuly 17, 20092 commentsTweetThere is some confusion about the state of the file append operation in HDFS. It was in, now it’s out. Why was it re
2012-03-16 18:03:28
3170
原创 HDFS patch前后Ganglia看到running processes变化的分析
Ganglia running processes是怎么算出来的？ganglia是通过 cat /proc/loadavg获得running processes的。可得到如下值：0.00 0.28 0.61 1/591 2993。其中，1是running process，591是total process。为了追踪ganglia图上突然出现的14个running processes
2012-03-16 11:18:19
2768
转载 揭秘java对象真正占用的内存空间 - Java Objects Memory Structure
SATURDAY, DECEMBER 13, 2008Java Objects Memory StructureUpdate (December 18th, 2008): I've posted here an experimental library that implements Sizeof for Java.One thing about Jav
2012-03-13 14:08:55
2612
原创 关于Fusion IO
http://www.fusionio.comhttp://en.wikipedia.org/wiki/Fusion-io ibm 曾经实现100万 iopshttp://en.wikipedia.org/wiki/Steve_Wozniak 苹果创始人，现在fusionIO 为首席科学家http://wikibon.org/wiki/v/Transcription:_Fusi
2012-03-09 17:51:45
2503
转载 关于Apache Hadoop 1.0
http://www.dw4e.com/?p=88本文译自cloudera公司Charles Zedlewski写的一篇文章《An update on Apache Hadoop 1.0》关于最新发布的Apache Hadoop V1.0，一些用户或客户会问：这个版本的功能有哪些？基于哪个版本？后续的版本是什么？要解释这一点，我们应该从Apache项目发布的一些基本
2012-03-09 16:50:51
2587
原创 在大并发写时，HBase的HDFS DFSClient端报SocketTimeoutException的问题分析和解决
异常日志：2012-03-02 12:11:21,983 WARN org.apache.hadoop.hdfs.DFSClient: DFSOutputStream ResponseProcessor exception for block blk_1439491087566691588_6207java.net.SocketTimeoutException: 69000 millis
2012-03-09 15:03:38
20849
1
转载 毕玄 - HBase 运维
本文作者是淘宝网高级技术专家毕玄，他将最近几个月学习运维HBase的经验毫无保留的分享出来，本站也在第一时间拜读，特转给大家分享。另外，文章提到竹庄改进了Facebook提交的一个bug已经被官方接受，竹庄的Blog也有很多关于HBase的分享，值得一读。————————————– 毫无理由的分割线 ———————————NoSQL现在风生水起，hbase的使用也越来越广，但目前几乎所有的
2011-12-09 16:03:32
3702
转载 ZZ HBase解惑
HBase解惑最近经常对自己提一些问题，然后自己通过google、读代码、测试寻求答案来解决疑惑，可能这些问题也能给其他人带来一些帮助。quora是个不错的问答型网站，兴趣去看一下自己感兴趣的话题吧~1）HBase中的TTL参数什么意思？TTL == "Time To Live". You can specify how long a cell lives in hbas
2011-12-05 22:43:51
2684
原创 hbase线上集群升级
hbase线上集群升级纪要1. 现状15台region server，4000多个region。2.升级目标将原有15台配置较差的region server，升级为新的配置好的服务器。这是一次硬件升级。3.升级过程为了保证升级平稳过渡，采用以下策略a. 将新的15台 server加入到region server集群中；b. 观察region serv
2011-11-29 09:38:14
3128
原创 hbase写入性能测试（从hdfs向hbase写入数据）
测试集群：9个region server（16 core + 24GB内存）。Hbase client机器（8 core + 32GB内存）数据量：日志数据，1122MB，存储在hdfs中。 hbase rowkey为9个字节，第一个字节是hash值，后八个字节对应long型数值；value约200b。 写性能关键影响因素1. rowkey分布式是否均衡，最好先了解rowke
2011-11-28 09:26:05
5137
原创 virtualbox下ubuntu加载共享文件夹
环境：宿主机 Windows 7，虚拟机 virtualbox，虚拟系统ubuntu10.04问题：安装增强包后，设置固定分配的共享数据空间share-ubuntu，在ubuntu中可以挂载，但是在开机启动时不能自动挂载。挂载的代码：sudo mount -t vboxsf share-ubuntu /mnt/share开机自动挂载vim etc/fstab增加一行
2011-11-27 10:56:39
2594
转载 ZZ服务器拓展的ScaleOut与ScaleUp
Scale Out 按字面意思是超过尺寸范围，而Scale Up则是按比例增高。即使用靠增加处理器来提升运算能力和增加独立服务器来增加运算能力。 对于服务器体系来说必须要考虑的一点就是可扩展性（Scalability）。除非业务永不增长，否则随着使用人数不断增多，服务器就一定会很快达到性能和并发极限。解决这个问题，通常只有两个办法：即代表分布式计算的Scale out和以主机或机箱式
2011-11-14 16:34:47
2423
转载 zz Ubuntu Maven安装与配置
zz from linux communityApache Maven，是一个软件（特别是Java软件）项目管理及自动构建工具，由Apache软件基金会所提供。基于项目对象模型（缩写：POM）概念，Maven利用一个中央信息片断能管理一个项目的构建、报告和文档等步骤。曾是Jakarta项目的子项目，现为独立Apache项目。详细介绍见 Apache Maven 2 简介
2011-11-11 18:08:19
2661
原创 hbase coprocessor 源码分析
关于HBaseCoprocessorHBaseCoprocessor是一套通信框架，能够在客户端向RegionServer注入代码并执行获取结果。基于HBaseCoprocessor，可以实现在RegionServer层面的聚合、访问控制及二次索引等功能，从服务端丰富HBase的功能。HBase Coprocessor框架HBaseCoprocessor的核心，是类似于
2011-11-11 10:39:01
4119
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人