canofy

本文章转自：http://www.linuxtone.org/thread-1069-1-1.htmllocationsyntax: location [=|~|~*|^~] /uri/ { … }语法:location [=|~|~*|^~] /uri/ { … }default: no默认:否context: server上下文:server...

解析日志的第二个shell文件(stat_hour.sh)，主要是把下载，解析放到一起，然后执行存储过程是按小时进行统计，若要按天进行统计，若还是小时的日志，则只需更改存储过程那个地方，让存储过程一天只执行一次；若日志是按天生成的，则把传进来的时间参数改为按天的就行。不管哪一种都需要更改存储过程，需要把基础数据导入到正式数据的语句改成按天的。[code="python"]...

这里是解析日志用的两个awk脚本,list_pv.awk[code="python"]BEGIN{ FS="\t"; OFS="\t";}{ # date pid cid sid posid aid split($6,aids,","); #print $1 for(i in aids){ ke...

这里是执行整个系统的主文件stat_main.sh下载，解析入库，最后执行存储过程附件为整个代码，包括配置文件，目录等[code="python"]. comm_function.shwork_path=`getWorkPath`#获取配置文件的路径config_address=$work_path"/config";comm_config_file=$...

统计系统---说明这里的日志是使用log4j生成的，按指定的格式生成日志，既一条记录的各个字段使用一个tab建隔开，主要是为了解析的时候方便这里的统计使用shell来下载解压缩日志和报警，使用awk来进行解析日志，使用存储过程来进行数据的处理（下一个统计使用java来实现，使用的是access日志）1.4亿的pv日志在据说是10分钟用awk就能解析完毕，还没有验证，因为相当...

查找服务器上访问日志中出现了404的记录，并把地址替换成web可访问的方式，最后并发送邮件重点：这里主要应用了sed的正则表达式来进行查找替换，也用到了分组发送邮件使用了email命令(mail命令貌似被禁了，发不出邮件，email命令应该需要装个什么东东吧，反正是在线下的服务器上没看到这个命令)进行发送，这个网上介绍的似乎很少，用公司的邮箱发送不出去，到最后问了系统的管理员才...

经过一周的修改，终于把各个部分分离开了，达到各个部分基本上可以独自运行的目的，解决一些耦合的东东。 下载，解压缩，检测解压缩的文件(含有报警)，解析文件，入库，检测入库(报警)，执行存储过程生成一级数据。分为以上这几个步骤。具体的见附件～～～ 这里没有删除解压缩的文件，需要另外写脚本定时删除，否则积累到一定的时间之后，磁盘空间会被占满，最后导致统计失败～～...

scp是有Security的文件copy，基于ssh登录。操作起来比较方便，比如要把当前一个文件copy到远程另外一台主机上，可以如下命令。[code="java"]scp /usr/local/adtools.tar root@192.168.0.*:/usr/local/qs/[/code]然后会提示你输入另外62的root用户的登录密码，接着就开始copy了。 ...

[code="python"]:

采用技术：shell+awk+mysql+存储过程主目录：/usr/local/yicha/adtools/stat_node/awk目录:各种awk脚本，主要是对日志做一些合并的处理config目录：shell脚本的配置文件目录error目录:shell脚本的某个环节出错后提示的错误文件放在此目录shell目录：shell脚本放在此目录里面shell脚本介绍：...

把数据转换成sql语句，主要用户移植数据库的时候使用，或批量插入数据的时候使用方法如下(数据格式的分隔符为tab)：1.用ultraedit编辑器最简单，只需简单的替换就行了，^t替换为',',^p替换为')^p,列模式下在每行的开始处输入insert .... (' .2.用脚本实现，如sed，awk等命令，在linxu下使用脚本前先使用dos2unix命令把数据的文本文件转换一下，...

第一种脚本：[code="java"]#/bin/shjava=$(ps -aux |grep java |sed -n '1p' |awk '{print $2}');kill -9 $java;rm /usr/local/tomcat-5.0.28/logs/catalina.* -rfrm /usr/local/tomcat-5.0.28/work/Catalina...

转载：http://alex09.iteye.com/blog/647128.tar 　　解包：tar xvf FileName.tar 　　打包：tar cvf FileName.tar DirName 　　（注：tar是打包，不是压缩！） 　　——————————————— 　　.gz 　　解压 1：gunzip FileName.gz 　　解压2：gz...

参考地址：http://www.cppblog.com/whncpp/archive/2008/09/18/62219.html linux的网卡IP地址是存放在文件中的，这个配置文件在/etc/sysconfig/network-scripts下，名称分别为ifcfg-eth0,ifcfg-eth1....如果有一块网卡，就只有ifcfg-eth0一个文件，如果有两块或者两块以上的网卡，...

screen的安装 yum install screen常用的键有：C-a ? 显示所有键绑定信息C-a w 显示所有窗口列表C-a C-a 切换到之前显示的窗口C-a c 创建一个新的运行shell的窗口并切换到该窗口C-a n 切换到下一个窗口C-a p 切换到前一个窗口(与C-a n相对)C-a 0..9 切换到窗口0..9C-a a 发送 C-a...

解析日志的shell文件(phase_log.sh)[code="python"]. comm_function.sh#工作目录work_path=`getWorkPath`work_log=$work_path"/log/work.log"error_log=$work_path"/log/error.log"phase_error_log=$work_path"...

日志下载，减少一些参数一下是源码：[code="python"]#!/bin/sh#调用方法：./down_log.sh pv 2009-05-13-10#第一个参数为下载日志的类型 第二个参数为下载的时间#注意日志下载的类型需要在配置文件里进行配置相应的日志名称，日志解压缩后的名称，日志保存路径，日志下载url的配置文件路径. comm_function.sh...

这是下载的shell脚本，需要配置文件，之后会慢慢介绍一下是源码[code="python"]. comm_function.sh#工作目录work_path=`getWorkPath`#下载的时间,默认为上一个小时lasthour=`date --date="1 hour ago" +%Y-%m-%d-%H`;#获取配置文件的路径config_a...

地址：http://wiki.codemongers.com/NginxChsFullExample两个虚拟主机(纯静态-html 支持) - Two Virtual Hosts, Serving Static Fileshttp { server { listen 80; server_name www.do...

摘自linux系统中的man test 命令.主要用于shell中的if判断，有字符串判断是否相等，表达式是否为true，可以进行and或者是or的条件进行判断，可以判断字符串的长度是否为0，判断两个数字的大小，判断文件是否存在，判断文件的大小是否不为0等等。如下：[code="python"] EXPRESSION is true or false and sets exit s...

关于shell函数的总结1.函数的写法：methodName(){ ....}如：# 获取当前时间，如：2009-01-01 00:00:00getCurrentTime(){ current_time=`date --date="now" +%Y-%m-%d' '%H:%M:%S`; echo $current_time;}2.函数返...

转载地址：http://wiki.ubuntu.org.cn/Shell%E7%BC%96%E7%A8%8B%E5%9F%BA%E7%A1%80我们可以使用任意一种文字编辑器，比如nedit、kedit、emacs、vi等来编写shell脚本，它必须以如下行开始（必须放在文件的第一行）：# !/bin/sh...符号#!用来告诉系统执行该脚本的程序，本例使用...

14. awk编程14.1. 变量 * 在awk中，变量不需要定义就可以直接使用，变量类型可以是数字或字符串。 * 赋值格式：Variable = expression，如$ awk '$1 ~/test/{count = $2 + $3; print count}' test,上式的作用是,awk先扫描第一个域，一旦test匹配，就...

1. awk简介awk 是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk的处理文本和数据的方式是这样的，它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进...

以例子开始：test.sh[code="python"]wget -t2 http://192.168.1.55/unionfee/a.zipecho $?[/code]a1.zip不存在，因此wget会出错，而"echo $?"打印出来是1[code="python"]wget -t2 http://192.168.1.55/unionfee/b.zip...

用shell写的下载文件，某些地方还不是很完善首先是下载的配置文件，主要是配置ip地址以及下载地址，配置ip地址的下载路径为固定的，下载到本地会保存到该ip地址的目录下。而普通的下载路径下载的文件会保存在当前目录下。[code="python"]218.1.1.1http://www.canofy.com/test/localhost_access_log.2009-0...

shell中的发送邮件，可以做报警用发送邮件的配置文件(mail.conf)：[code="python"]cbd2003@163.comabc2003@gmail.com[/code]发送邮件的主程序：[code="python"]#发送邮件shell脚本，必须传入两个参数，第一个为标题，第二个为邮件内容，#必须要有mail.conf文件，里面是邮件列...

日志格式(log)（使用的log4j记录的日志，分隔符使用的是一个tab，注意日期的时间与小时那里是一个空格，第一列为时间；第二列为id，为某一个唯一标识，第三列为ip，第四列后面的可以不用考虑）：[code="python"]2009-04-05 12:00:02 0572 218.200.247.111 2009-04-05 12:00:02 0571 218.207.21...

[code="java"]shell判断文件,目录是否存在或者具有权限 #!/bin/shmyPath="/var/log/httpd/"myFile="/var /log/httpd/access.log"#这里的-x 参数判断$myPath是否存在并且是否具有可执行权限if [ ! -x "$myPath"]; thenmkdir "$myPath"f...

[code="java"]BEGIN{ FS=" "; RS="\n"; OFS"\t"; ORS="\n";}{ if($7~/ad\/st.jsp/){ #key=$7 key=substr($7,match($7,"at=")+3,match($7,"&")-match($7,"at=")-3

下面是步骤：1).终端输入：sudo apt-get remove scim这一步是删除安装系统的时候装的那个scim，实际是个假的，我这里不可以用2）sudo apt-get install scim这一步下载安装scim输入法。下载完了系统会自己装上，中间会有提示，直接y就行了3）sudo apt-get install scim-chinese...

用shell写的一些函数属于统计系统的一部分，之后会慢慢写出来其它的部分[code="python"]#获取当前时间getCurrentTime(){ current_time=`date --date="now" +%Y-%m-%d' '%H:%M:%S`; echo $current_time;}#时间格式的转换#如：2009-05-14 1...

转:http://www.cnblogs.com/tongyan/p/3214577.html1.下载http://www.speech.sri.com/projects/srilm/download.html2.解压：tar zxvf srilm.tar.gz3.修改 Makefile 文件（SRILM 目录下） 找到：　　　...