arrow_pig的专栏

Posted on九月 26, 2008byarrowpig1979<br />预备知识：我们有一个HTTP Server响应请求。为了方便tracking，我们保存所有的query在acess log文件中。现在想一下需要log多少信息。Query String 这样出了问题我们才能replay这些query用于重现。[Query=] IP 这样我们可以知道是谁发送了query，如何是恶意发送大量expensive query企图拖垮我们的系统，我们可以禁掉该IP。[IP=] Process

<br />在perlrun 实战1 中我们提到了可以使用下面的命令来得到Query Type的平均执行时间：<br /> <br />cat logfile | perl -ne ‘/[QueryType=([^]]+).+[TimeCost=([d.]+)ms/; $QT{$1} +=$2; $CNT{$1}++; END {for $key (keys(%QT)) {print $key, ": ", $QT{$key}/$CNT{$key},"n" } }’ | sort<br /> 

<br />通常我们运行perl的方式是写一个perl脚本，然后运行(比如perl perlscriptfilename.pl)。但是很多情况下，我们希望更加快捷的方式，把perl脚本写在命令行里面直接运行。这种做法在我们的日常工作中常常碰到。举一个实际的例子，在production的机器上只安装了vi，vi有一个缺陷，如果文件中有的行特别长，vi就不能正常工作。现在我们要修改一个配置，把arrowpig=smart改成arrowpig=fool<br />perl -pi -e ‘s/arrowpig

<br />今天看了一个设计文档，是关于怎么设计一个数据库表来模拟配置环境的，觉得设计的挺好的，估计能和数据库原理那本书对上。看了一天，头有点大，回家前写篇Perl学习笔记吧，就当翻译作业好了。Todd在公司Wiki上建了一个Page，里面有他写的一些很实用的脚本，以后再学。<br /> <br />目的 ：匹配数字（Numeric），可以是整型，可以是浮点，可以是科学计数，有可能带正负号。<br />我先摘录一下整体思路，这个思路不限于匹配数字，这是一个构建正则 表达式的通用思路：详细的表述需求（Spe

<br />Perl就像一把瑞士军刀，临战时用起来很方便。特别在文本处理的时候，比如在大型系统中追踪问题常常以来于系统日志，我们有很多日志，access_log或者err_log或者deploy_log。今天我一边看剧场版的名侦探柯南，一边看了一下Perl的正则表达式匹配的文档，写点笔记，也算这个周末没有完全堕落啊。<br />先看一个小例子：<br />"abcde"=~/(abd|abc)(df|d|de)/;意思是匹配的部分有两部分(two groups)组成，第一部分(group)有两种可能(a

Posted on九月 28, 2008byarrowpig1979<br />记得很久很久以前发了一个帖子，出了一道题目,当时我花了好几十行代码才完成的工作，Todd用2行代码就完成了，今天来总结一下。题目的需求是找出一个Category里面最特别的物品。我们的做法是把一个Category里面所有的物品的标题都打印出来： <br />算法描述：统计所有的单词的出现频率。比如watch:30次，ring:20次，book:15次，blue:6次 给每一件物品打分，score=SUM(Freq. of

Posted on四月 11, 2008byarrowpig1979<br />现在是晚上10点，我还在单位里面，为什么会这么晚呢，因为自己太弱了！！4月10号凌晨一台机器Machine Restart，祸不单行，重启以后由于NTP服务也down 掉了，搞得系统时间比正确时间快了1个小时。由于我们在这台机器上面部署的Application运行的时候都依赖于系统时间，搞得应用进程跳过当前时间，不停的试图处理将来的数据。为了恢复这个问题，需要找到系统时间出错前应用进程的所有任务的时间戳，然后从那些时间戳