https://blog.youkuaiyun.com/ponkyzh-cnhttps://blog.youkuaiyun.com/https://blog.youkuaiyun.com/ponky/article/details/6965638https://blog.youkuaiyun.com/ponky/article/details/6965638ponkySun, 13 Nov 2011 12:44:59 +0800https://blog.youkuaiyun.com/ponky/article/details/6704416https://blog.youkuaiyun.com/ponky/article/details/6704416ponkySat, 20 Aug 2011 16:09:27 +0800https://blog.youkuaiyun.com/ponky/article/details/6664402https://blog.youkuaiyun.com/ponky/article/details/6664402ponkyFri, 05 Aug 2011 23:12:12 +0800https://blog.youkuaiyun.com/ponky/article/details/6664384https://blog.youkuaiyun.com/ponky/article/details/6664384ponkyFri, 05 Aug 2011 22:54:58 +0800https://blog.youkuaiyun.com/ponky/article/details/6664370https://blog.youkuaiyun.com/ponky/article/details/6664370ponkyFri, 05 Aug 2011 22:42:54 +0800https://blog.youkuaiyun.com/ponky/article/details/6629709https://blog.youkuaiyun.com/ponky/article/details/6629709ponkySun, 24 Jul 2011 15:38:24 +0800&2;sleep 1;echo -n 789)>puzzl]]>https://blog.youkuaiyun.com/ponky/article/details/6618654https://blog.youkuaiyun.com/ponky/article/details/6618654ponkyWed, 20 Jul 2011 01:36:01 +0800/dev/null 2>&1命令的结果可以通过%>的形式来定义输出分解这个组合：“>/dev/null 2>&1” 为五部分。1：> 代表重定向到哪里，例如：echo “123″ > /home/123.txt2：/dev/null 代表空设备文件3]]>https://blog.youkuaiyun.com/ponky/article/details/6286202https://blog.youkuaiyun.com/ponky/article/details/6286202ponkyTue, 29 Mar 2011 15:14:00 +0800公司的统计系统经历了两次比较大的架构变动:
1.数据直接入库的实时分析->
2.数据写入日志文件再归并入库的非实时分析（及时性：天）->
3.数据写入日志文件归并入库，建立不同维度的缓存表, 结合数据仓库（及时性：小时）
当前的系统状况：
数据源：Goolge Analytics / WebServer Log
数据库记录:5亿+
单表最大记录：1.2亿+
服务器数量：三台
1.日志存]]>https://blog.youkuaiyun.com/ponky/article/details/6283789https://blog.youkuaiyun.com/ponky/article/details/6283789ponkyMon, 28 Mar 2011 15:50:00 +0800功能说明：控制shell程序的资源。

语　　法：ulimit [-aHS][-c ][-d <数据节区大小>][-f <文件大小>][-m <内存大小>][-n <文件数目>][-p <缓冲区大小>][-s <堆叠大小>][-t ][-u <程序数目>][-v <虚拟内存大小>]
补充说明：ulimit为shell内建指令，可用来控制shell执行程序的资源。
参　　数：
   
-a 　显]]>https://blog.youkuaiyun.com/ponky/article/details/6211642https://blog.youkuaiyun.com/ponky/article/details/6211642ponkySun, 27 Feb 2011 18:01:00 +0800马上就要用awk来分析一些日志，所以今天继续恶补。书上的例子看了就懂，有些飘飘然。然而真正动手却发现不是那么回事。看来好记性不如烂笔头，有些东西记下来比较好。
举个最简单的例子吧，用awk求一列的最大值和最小值。按照书中的要求来写出内容。其中最让人恶心的大概就是这个字符串转数字了。BEGIN{
    FS="[:]";    
    print "                       ***CAMPAIGN 1998 CONTRIBUTIONS***  ]]>https://blog.youkuaiyun.com/ponky/article/details/6211607https://blog.youkuaiyun.com/ponky/article/details/6211607ponkySun, 27 Feb 2011 17:35:00 +0800昨天写的是按照其中的一列消重来取另一列的count，可是却没有交待如何取数组元素的个数，刚才简单写了一个小程序，验证通过。
首先准备如下数据：1{SPR}2{SPR}0
2{SPR}2{SPR}0
3{SPR}3{SPR}0
4{SPR}3{SPR}0
5{SPR}4{SPR}0
我想取第二列的个数，当然这里是要消重的，否则一个NR就可以了。残念。#将记录按{SPR}分隔为列，并将输出的显示分隔符设置为TAB
BEGIN{FS]]>https://blog.youkuaiyun.com/ponky/article/details/6211536https://blog.youkuaiyun.com/ponky/article/details/6211536ponkySun, 27 Feb 2011 17:00:00 +0800
现在有两个文件如
A文件
2 sdf
30 sf
15 sdf
B文件
0 20 sdfsf
21 56 sdfsadfsf
57 200 sdflj
201 500 sfasfd
A中记录是不连续的,B中记录是连续全面的.现在要把A文件中的第一列放到B文件中与第一第二列对比，看在哪个范围内，符合，则把A中第一列及相应的B文件中第三列打出。

https://blog.youkuaiyun.com/ponky/article/details/6211516https://blog.youkuaiyun.com/ponky/article/details/6211516ponkySun, 27 Feb 2011 16:49:00 +0800得到 23  f98  b34  d53  cawk 'NR==FNR{a[$1]=$2}NR>FNR{print $1,a[$2]}' file2 file1g了一下，
明白是awk是顺序处理file1、file2、file3...
所以新手来解释下高手ywlscpl代码
awk 'NR==FNR{a[$1]=]]>https://blog.youkuaiyun.com/ponky/article/details/6211475https://blog.youkuaiyun.com/ponky/article/details/6211475ponkySun, 27 Feb 2011 16:22:00 +0800如果文件a中包含文件b，则将文件b的记录打印出来输出到c文件里

文件a:
10/05766798607,11/20050325191329,29/0.1,14/05766798607
10/05767158557,11/20050325191329,29/0.08,14/05767158557

文件b:
05766798607
05766798608
05766798609
通过]]>https://blog.youkuaiyun.com/ponky/article/details/6211436https://blog.youkuaiyun.com/ponky/article/details/6211436ponkySun, 27 Feb 2011 16:01:00 +0800为什么要使用正则表达式
    linux/UNIX中提供了许多命令和工具，它们可以在文件中查找(Search)字符串或替换(Replace)字符串的功能。像grep，vi，sed，awk等，不论是查找字符串还是替换字符串，都得先告诉这些命令所要查找(被替换)的字符串是什么，如果未能事先明确知道所要查找(被替换)的字符串是什么，只知道这个字符串存在的范围或特征时，例如：(一)查找”T0.c”，”T1.c”，”T2.c”…”T9.c” 当中的任一字符串。(二)查找至少存在一个”A”的任意]]>https://blog.youkuaiyun.com/ponky/article/details/6211434https://blog.youkuaiyun.com/ponky/article/details/6211434ponkySun, 27 Feb 2011 16:00:00 +0800awk的内部变量的个数不多，在这里介绍的时候就不按照字母顺序排列了，而是按相关性分类说明。
    ARGC         
    ARGC表示命令行上除了选项-F，-v，-f等选项及其所对应的参数之外的所有参数的个数。如果将“awk程序”直接写在命令行上，那么ARGC是不会把“awk程序”计算在内的。
    ARGV         
    ARGV是一个数据，用来记录命令行上的参数的名称。 执行下列命令：
[root@myfreeli]]>https://blog.youkuaiyun.com/ponky/article/details/6211433https://blog.youkuaiyun.com/ponky/article/details/6211433ponkySun, 27 Feb 2011 15:59:00 +0800    awk 的內建函数(Built-in  Functions)        
    一、字符串函数 
    语法：index( 原字符串，寻找的子字符串)：
    解释：若原字符串中含有欲找寻的子字符串，则返回该子字符串在原字符串中第一次出现的位置，如果没有出现该子字符串则返回0。
    例如执行：
    [root@myfreelinux pub]# awk ‘BEGIN{print index(“0411-8888-9999]]>https://blog.youkuaiyun.com/ponky/article/details/6211430https://blog.youkuaiyun.com/ponky/article/details/6211430ponkySun, 27 Feb 2011 15:58:00 +0800awk的Actions一般由下列指令(statement)所组成：    
1、 表达式 ( function calls， assignments..)    
2、print 表达式列表    
3、printf( 格式化字符串， 表达式列表)    
4、if( 表达式 ) 语句 [else 语句]   
5、while( 表达式 ) 语句    
6、do 语句 while( 表达式)   
7、for( 表达式; 表]]>https://blog.youkuaiyun.com/ponky/article/details/6211426https://blog.youkuaiyun.com/ponky/article/details/6211426ponkySun, 27 Feb 2011 15:57:00 +0800awk 通过判断模式（Pattern）的值来决定是否执行其后对应的动作（Actions）。首先来看一下awk中几个常见的模式，在前十部分中，有一些模式已经做了介绍，在这里再总结一下：           
  
  1、BEGIN是awk 的保留字，是一种特殊的模式。                
     BEGIN 成立(其值为true)的时机是：“awk 程序一开始执行，还没有读取任何数据之前”。 所以在BEGIN{ Actions} 语法中，Actions]]>https://blog.youkuaiyun.com/ponky/article/details/6211422https://blog.youkuaiyun.com/ponky/article/details/6211422ponkySun, 27 Feb 2011 15:57:00 +0800 awk 中除了函数的参数列(Argument List)上的参数(Arguments)外，所有变量无论在什么地方出现，均被视为全局变量。全局变量的生命周期持续到程序结束。全局变量不论在function外还是function内都可以使用，只要变量名称相同，所使用的就是同一个变量。但是递归函数会调用会调用到函数本身，所以编写这里函数是需要特别注意。
     例如：编辑一个awk脚本程序，内容如下：
[root@myfreelinux pub]# cat argument.aw]]>