蓝色时分

学习php，试着拿php搭个监控界面画图？rrc？据说jpgraph这玩意儿更好用官网手册：http://doc.async.com.br/jpgraph/html/index.html注：安装它需要支持gd2的php，在phpinfo()中查找php.ini打开extension=php_gd2.dll的选项在httpd.conf中加入DocumentRoot "/v...

todd的ppt是本次hadoop world大会上的亮点。之前知道他让hdfs随机读性能提升了2-3倍。具体他们做了哪些改进呢？这里详细记录一下原理。（都是ppt上翻译过来再加上理解的）[code="xml"]IO cache上的改进：1 增加了预读，避免大量随机seek，对mapreduce这样的只读一次数据的应用很有效2 去掉了write在OS层面的cache，因为对ma...

zookeeper运行时间长了以后，日志会成为一个比较大的问题。比如作者压力测试hbase一周以后，zookeeper日志文件达到了10G的规模。由于zookeeper日志文件不能随意删除，因为一个长时间不更新的节点完全有可能存在于几天前的一个日志文件中。那么如何安全地删除它们呢？可以自己编写程序处理，但是zookeeper也提供给了我们一个方便的小工具：PurgeTxnLog ...

最近线上运行的hbase发现分配了16g内存，但是实际使用了22g，堆外内存达到6g。感觉非常诡异。堆外内存用一般的工具很难查看，可以通过google-perftools来跟踪：[url]http://code.google.com/p/google-perftools/downloads/list[/url] 它的原理是在java应用程序运行时，当调用malloc时换用它的...

maven菜鸟，权当记录：原文链接：http://jackyrong.iteye.com/blog/935590我直接拷贝了1 mvn -v查看版本 2 设置代理 编辑settings.xml文件 abc true http ... ...

今天在对map进行遍历的程序中发现抛出ConcurrentModificationException 异常： 一个线程中： [code="java"]Map map = new ConcurrentHashMap(); while((row = results.next()) != null){ map.clear(); ... ...

血的代价换来的对apache性能的理解：简单来说，这次遇到两个问题：1 mpm工作模式：目前最流行的模式是perfork(非线程)模式和worker(线程)模式因为线程自身的问题，自然perfork比worker模式要安全，并且在简单的情况下具有更快的速度(减少了线程的开销)，但是对于繁忙的应用，worker模式由于具有更低的内存消耗，所以能支撑更多的请求。编译：--with-...

如果大批量的操作能够通过一系列的select语句产生，那么理论上就能对这些结果批量处理。但是mysql并没用提供eval这样的对结果集进行分析操作的功能。所以只能现将select结果保存到临时文件中，然后再执行临时文件中的指令。具体过程如下：mysql> SELECT concat('KILL ',id,';') FROM information_schema.processlis...

需求：linux下多台机器布置分布式调度程序，因为调度程序、脚本以及其它配置文件需要同步反复修改，仅靠scp己经不能满足需求了。因此进行如下调整1 每台机器上配置一个环境变量文件，如config.sh，然后所有脚本source config.sh2 所有相同文件用rsync来进行同步，具体配置如下：[b]vi /etc/xinetd.d/rsync，将disable那行改为no...

mysql热备1 查看mysql版本，保证主库低于等于从库2 主库配置： A 需要打开支持日志功能：log-bin=mysql-bin B 提供server-id:server-id=1 C 重启mysql，进入后，分配复制从库的帐号GRANT REPLICATION SLAVE ON *.* TO 'repuser'@'backip' IDENTIFIED BY '...

工作中遇到需要将hdfs上的文件导入数据库的问题之前的解决办法是：将文件getmerge到本地目录，然后再用sqlr工具导入oracle如果oracle和hadoop分属不同的机器，这样就需要一次本地文件写，一次远程拷贝，一次文件读的时间管道也是一种文件但是管道很好地用了内存，因此可以节约一次文件读写的时间方法：1 mknod xxx p:建立xxx管道文件...

ssh -D 1111 192.168.0.2 -gNf

以前用脚本scp文件时，都是以.ssh打通为基础的。今天需要在知道用户名密码但没打通机器的情况下传送文件，用到了expect，脚本如下：#! /usr/bin/expect -fspawn scp 1 koven@192.168.0.2:expect "*password:"send "koven\r"expect eof当然不只是scp，其它命令也可以用expect自...

问题1： 如何插入10w行数据？相比较用脚本的for i in {1..100000};domysql ... -e "insert ..."done　　快速的方法是在mysql中insert ;insert ... select * from;... again问题2: 重置auto_increment alter tabl...

昨天遇到一个问题，很奇怪为什么我在root下仍无法在PATH中搜索到sbin下的命令，如/sbin,/usr/sbin，/usr/local/sbin翻看/etc/profile：if [ "$EUID" = "0" ]; then pathmunge /sbin pathmunge /usr/sbin pathmunge /usr...

今天是儿童节，我像小盆友一样发现了php和html混合的时候如何进行参数传递：这样，php里就认识了$idate另：php里字符串作时间加法，一个好办法是通过时间来中转，如$idate=20090601;$idate_end=date("Ymd",strtotime($idate)+24*3600);那么idate_end就等于了20090602下午写了个java执...

zookeeper作为分布式集群广泛使用的应用程序协调服务集群。它的特点就不说了，很多人分析过。前段时间微博上说到zk有一些问题，其实只是某些场合下zk使用需要小心，这里列举一下：[list=1][*]zk不适合做大数据量的存储，简单来说就是不适合做公用存储。原因很简单，每个数据要同步到所有server才返回，既慢，而且消耗带宽，client还容易阻塞。所以这种应用对zk来说太“重”了...