自动分割SQUID的日志，并每天生成一个日期格式文件名的日志

最新推荐文章于 2025-05-26 18:50:20 发布
转载 最新推荐文章于 2025-05-26 18:50:20 发布 · 5.6k 阅读 · 0
文章标签：

#linux #unix #ibm #sybase #dns服务器 #服务器

本文介绍了一种使用newsyslog工具自动按日期格式分割SQUID代理服务器日志的方法，便于管理和分析大规模网站产生的大量日志。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

原贴:http://bbs.chinaunix.net/viewthread.php?tid=538499&highlight=cnsnoopy&page=0&#pid4290654

 

自动分割SQUID的日志，并每天生成一个日期格式文件名的日志

首页 » 论坛 » Proxy服务器 » 取消高亮
  •  
    •  
    取消高亮 ‹‹ 上一主题 | 下一主题 ››
    [打印] [订阅] [收藏] [推荐给朋友] [本帖文本页]
    cnsnoopy   帅哥
    侠客



    UID：62779
    注册：2003-6-11
    最后登录： 2007-02-05
    帖子： 34
    精华： 1

    可用积分：44
    信誉积分： 100
    专家积分： 0 (本版)

    来自：北京
    状态： ...离线...

    [资料] [站内短信] [Blog]


    顶部
    1楼 发表于 2005-4-29 14:41 
    Rotating SQUID log with newsyslog

    Kenny Zhao, kunfirst.blogchina.com
    if you have any question, please feel free to send me a email:
    kfirst@gmail.com

    --------------------------------

    * Introduction:

    rorate squid log,and make sure its filename is automatically
    renamed as a date-based pattern,such as: access20050412.log.gz

    download newsyslog from http://www.eyrie.org/~eagle/software/newsyslog/

    BTW: newsyslog is an official recommendation to  replace rotatelog by SQUID.

    * Installation:

    1.Install newsyslog 1.6

    [Copy to clipboard] [ - ]
    CODE:
            ./configure
            make
            make install

    newsyslog should be installed into /usr/local/sbin/newsyslog

    2.Crate a new file: /usr/local/etc/newsyslog.conf, paste lines below:

    [Copy to clipboard] [ - ]
    CODE:
    set squid_logpath = /usr/local/squid/var/logs
    set squid_log = /usr/local/squid/var/logs/access.log
    set date_squid_log = /usr/local/squid/var/logs/access%Y%M%D.log

    SQUID{
            restart: run /usr/local/squid/sbin/squid -k rotate
            log:  SQUID squid_log squid squid 644
            archive: SQUID date_squid_log 0

    }

    3.run newsyslog in crontab,(example: run once 23:58 daily):

    [Copy to clipboard] [ - ]
    CODE:
    58      23      *       *       *       /usr/local/sbin/newsyslog




    您对本贴的看法：鲜花[0] 臭蛋[0]
    UNIX平台操作风险管理解决方案 | 送Linux集群，十一长假精通Linux技术！ | 免费下载IBM社区版软件 | 安全新客站
    版主 段誉   帅哥  爱心使者
    版主－法师



    UID：6544
    注册：2002-4-8
    最后登录： 2007-09-22
    帖子： 5595
    精华： 16

    可用积分：152
    信誉积分： 100
    专家积分： 0 (本版)

    来自：冰城—哈尔滨
    状态： ...离线...

    [资料] [站内短信] [Blog]


    顶部
    2楼 发表于 2005-4-29 19:18 
    自动分割SQUID的日志，并每天生成一个日期格式文件名的日志

    这是楼主自己写的程序？到是很不错的说。

    通常在linux平台下（俺D经验），直接用squid -k rotate就可以生成每天的日志，文件名格式为squid.log.x，x为0~90，这里的90是在squid.conf里面配置的——参数忘记了，回头补上来。



    您对本贴的看法：鲜花[0] 臭蛋[0]

    __________________________________

    垃圾北京！

    UNIX平台操作风险管理解决方案 | 送Linux集群，十一长假精通Linux技术！ | 免费下载IBM社区版软件 | 安全新客站
    cnsnoopy   帅哥
    侠客



    UID：62779
    注册：2003-6-11
    最后登录： 2007-02-05
    帖子： 34
    精华： 1

    可用积分：44
    信誉积分： 100
    专家积分： 0 (本版)

    来自：北京
    状态： ...离线...

    [资料] [站内短信] [Blog]


    顶部
    3楼 发表于 2005-5-1 15:15 
    自动分割SQUID的日志，并每天生成一个日期格式文件名的日志

    squid -k rotate  生成的日志没有日期的文件名，从文件名很难看出是哪天的日志，难以管理。
    比如需要定时下载该日志，需要自动合并多台服务器上不同格式的日志等都会比较困难。

    对于需要日志分析的大中型网站来说，生成有规律的日志是有必要的，就像IIS那样。



    您对本贴的看法：鲜花[0] 臭蛋[0]

    __________________________________

    No Pain,No Gain

    互联网观察中心
    UNIX平台操作风险管理解决方案 | 送Linux集群，十一长假精通Linux技术！ | 免费下载IBM社区版软件 | 安全新客站
    joyaid   帅哥
    风云使者



    UID：113520
    注册：2003-11-20
    最后登录： 2007-09-11
    帖子： 441
    精华：0

    可用积分：93
    信誉积分： 100
    专家积分： 0 (本版)

    状态： ...离线...

    [资料] [站内短信] [Blog]


    顶部
    4楼 发表于 2005-5-1 22:00 
    自动分割SQUID的日志，并每天生成一个日期格式文件名的日志

    很不错ing!!支持!!



    您对本贴的看法：鲜花[0] 臭蛋[0]

    __________________________________

    Gman.

    UNIX平台操作风险管理解决方案 | 送Linux集群，十一长假精通Linux技术！ | 免费下载IBM社区版软件 | 安全新客站
    Notepad   帅哥
    圣骑士



    UID：209496
    注册：2004-12-21
    最后登录： 2005-11-04
    帖子： 91
    精华：0

    可用积分：20
    信誉积分： 100
    专家积分： 0 (本版)

    状态：...保密...

    [资料] [站内短信] [Blog]


    顶部
    5楼 发表于 2005-5-5 19:36 
    自动分割SQUID的日志，并每天生成一个日期格式文件名的日志

    筛选后导入到数据库不更好，我就导入PGSQL了

    [Copy to clipboard] [ - ]
    CODE:
    -[ RECORD 4 ]------------------------------------------------------------------
    al_servname | relay.cc
    al_timstamp | 2005-05-05 09:02:41
    al_outgolen | 199
    al_userhost | 10.36.7.7           
    al_tcpstats | TCP_MISS                     
    al_tcpstatn | 200
    al_incomlen | 1965
    al_httpmeth | GET      
    al_flushurl | http://unixpro.blogbus.com/images/cats.js
    al_username | jack                    
    al_lnkstatl | DIRECT
    al_lnkstata | 61.152.145.184
    al_mimetype | application/x-javascript




    您对本贴的看法：鲜花[0] 臭蛋[0]
    UNIX平台操作风险管理解决方案 | 送Linux集群，十一长假精通Linux技术！ | 免费下载IBM社区版软件 | 安全新客站
    cnsnoopy   帅哥
    侠客



    UID：62779
    注册：2003-6-11
    最后登录： 2007-02-05
    帖子： 34
    精华： 1

    可用积分：44
    信誉积分： 100
    专家积分： 0 (本版)

    来自：北京
    状态： ...离线...

    [资料] [站内短信] [Blog]


    顶部
    6楼 发表于 2005-10-30 02:38 
    自动分割SQUID的日志，并每天生成一个日期格式文件名的日志

    比较大的网站每天的日志都是数个G，将其导入数据库中恐怕不是很好的解决办法，最好直接用日志分析工具将每天的日志进行分析再将结果导入到数据库中。



    您对本贴的看法：鲜花[0] 臭蛋[0]

    __________________________________

    No Pain,No Gain

    互联网观察中心
    UNIX平台操作风险管理解决方案 | 送Linux集群，十一长假精通Linux技术！ | 免费下载IBM社区版软件 | 安全新客站
     
    可扩展Web架构与分布式系统
    科技D人生
    12-21 1719
    开放源代码已经成为一些大型网站的基本原则。而在这些网站成长的过程中，一些优秀的实践经验和规则也出现在他们的结构中。本文旨在介绍一些在大型网站结构设计的过程中需要注意的关键问题以及实现目标的基础工作。 本文侧重于介绍网络系统，尽管一些准则在其他分布式系统中也是适用的。 1.1. web分布式系统的设计原则 搭建和运营一个可伸缩的web站点或者应用程序意味着什么？在原始层面上这仅仅是
    最接地气的一套PHP面试题（总结不易，踩坑踩到挂了好多面试）
    浅糖博客
    05-17 1431
    1. 请自我介绍一下？ 答：自己会介绍自己吧，你好，我叫 LiuMucheng，从毕业后一直都在做 php 开发。。。 2. 你在公司负责那些项目？ 答：公司的项目都是交叉进行的，论坛，微信，商城我都做过 3. 你为什么来深圳？ 答：人往高处走 4. 使用过什么前端框架和后端框架？ 答：根据自己的回答 5. 你做过那些模块？ 答：登陆注册，商品管理，购物车模块，订单管理 6. 你们公司是使用什么框架？ 答：我们公司采用的是 TP 框架，运用的 mysql+apache+php 进行开发
    squid日志时间转换
    weixin_30952103的博客
    06-10 640
    squid日志时间是unix时间戳 不利于观看 python脚本进行转换 1 #!/usr/bin/env python 2 #2014-6-5 pdd 3 4 import re 5 import time 6 import sys 7 8 with open(sys.argv[1],'r') as f: 9 log = re.f...
    squid日志分割
    zyzn1425077119的博客
    01-23 1426
    参考：coolio 的BLOG，网址：http://coolio.blog.51cto.com/680971/1406148 squid日志有 access.log;客户端使用代理服务器的记录文件 store.log;存储缓冲对象的状态记录文件 cache.log;CACHE的启动以及各类状态的记录文件 1 日志备份： cp access.log access.
    squid使用rotate轮询（分割）日志
    weixin_33881753的博客
    05-04 549
    squid启动后马上停止，其中原因是access.log文件超过2G大小，在32位系统中，如果access.log文件超过2G大小，squid会启动后自动关闭。 解决方法：1、首先清空现有的access.log日志文件： cp access.log access.log.bak #备份现有日志文件# cat /dev/null > ...
    squid日志格式处理
    weixin_33904756的博客
    03-05 418
    先看看squid原始文档怎么解释吧 # TAG: logformat # Usage: # # logformat <name> <format specification> # # Defines an access log format. # # The <format s...
    Nginx日志配置和日志切割
    最新发布
    98年热爱开发的前后端开发工程师！
    05-26 887
    Nginx日志配置和日志切割
    Nginx优化与防盗链
    m0_61187759的博客
    06-02 1036
    #董明珠称打工人想要休闲可以辞职# 踩着时代红利上来的人，因为自己是绝对幸存者，所以特别信奉社会达尔文主义。他们不会去管宏观失业率，普遍的加班现象，他们认为就应该淘汰掉不是最勤奋努力的。然而他们即使出过国，也不能体会那种用不透支自己的能量工作，就能获得过上体面生活的世界。
    运维攻城狮面试题汇总
    tian1345的博客
    05-22 2万+
    面试题汇总 什么是运维?什么是游戏运维? 1）运维是指大型组织已经建立好的网络软硬件的维护，就是要保证业务的上线与运作的正常，在他运转的过程中，对他进行维护，他集合了网络、系统、数据库、开发、安全、监控于一身的技术，运维又包括很多种，有DBA运维、网站运维、虚拟化运维、监控运维、游戏运维等等 2）游戏运维又有分工，分为开发运维、应用运维（业务运维）和系统运维 开发运维：是给应用运维开发运维工具和运维平台的 应用运维：是给业务上线、维护和做故障排除的，用开发运维开发出来的工具给业务上线、维护、做故障排查 系
    Squid 代理服务器日志的分割
    weixin_34050389的博客
    03-05 342
    上网查了很久都没有我想要的结果，于是我决定自己动手来实现我想要的效果，离我期望的还差那么一点点但还是比较满意的。系统环境是Centos5.2的，既然需要的squid日志的提取，相信squid代理的配置应该都没有问题，在这里就不多说了。在此提供两种方法：方法—：需要安装软件包,newsyslog-1.8.tar.gz自己可以从网上下载.1.安装步骤：#./configu...
    SQUID反向代理安装+配置文件详解+缓存清理脚本+日志切割
    weixin_34150503的博客
    12-29 306
    公司本身是做监控的，在全国各地都有节点，节点任务量不大，闲着也是闲着索性自制了cdn，代理加速公司的网站。一、安装配置squid1、软件下载、安装#推荐使用3.1版本，比较稳定。#squid软件下载地址：http://www.squid-cache.org/Versions/[root@dev2-60~]#cd/usr/local/src/ [root@dev2-60...
    squid日志参数详解
    weixin_34228387的博客
    01-12 666
    下列编码可能出现在access.log的第9域。请参考10.10节关于Squid如何对cache丢失情况，选择有效的下一跳。 NONE 这指明Squid对本次请求，不会与任何其他服务器（邻居或原始服务器）通信。它通常与cache命中、拒绝请求、cache管理请求、错误、和所有的ICP查询这些类型联合出现。 DIRECT Squid直接转发请求到原始服务器。该域的...
    Blogbus博客
    cnracht8153的博客
    02-25 334
    Blogbus博客链接:http://ggandmm.blogbus.com ...
    squid日志处理（天）
    zyzn1425077119的博客
    01-24 1673
    在在/usr/local/squid/sbin中执行./squid -k rotate命令进行轮询，依次为access.log、access.log.0 ~access.log.9 ，此时可以结束， 或者写shell脚本对access.log.0进行处理成日期的。 用crontab -e进行任务添加，详见博客其他篇章
    squid 日志清理
    weixin_34209851的博客
    12-02 347
    配置了SQUID认证后，SQUID的日志文件爆炸式增长，主要为access.log和cache.log所以为了能够及时清理日志文件，使用如下方法： SQUID提供了日志分割命令,squid -k rotate ，通过这个命令可以将日志文件分割为access.log.0 access.log.1 ..... cache.log.0 cache.log.1 ......
    vsftp log记录存放位置
    热门推荐
    AXDC_QA_Team的专栏
    02-15 2万+
    昨天有个同事提了个要求，希望能查看都谁从ftp上面下载了子目录的中的文档。这个要求一出，我还有点懵，后来询问了全能的dan，晓得可以通过ftp的log文件来查看，里面清楚的记录了都关于ftp的一些连接，操作等log。ftp的log存放在/var/log/vsftpd.log， 只可惜里面的内容是从2010年12月开始的，之前的都不见了，不知道是人为删除了还是咋的？这个要再查查。除了这个log，如果是关于http web相关的，则log保存在/var/log/httpd-error.log文档中， 登陆bug
    vsftpd 打开日志输出功能
    wangjichen_1的专栏
    11-19 1万+
    vsftpd 服务默认不打开日志输出，出错信息可以在/var/log/secure中查看。 打开vsftpd 的日志信息，需要修改/etc/vsftpd/vsftpd.conf 文件，添加以下两行： use_localtime=YES dual_log_enable=YES 然后重启 service vsftpd restart 通过客户端登陆vsftpd. 就可以在/v
    如何删除squid 日志
    最实用的Linux博客
    09-23 4320
    原贴:http://www.anyter.com/bbs/dispbbs_19_3972_1.html如何删除squid 日志 linux/Unix下squid日志清除/usr/local/sbin/squid -k rotate //分割日志文件rm -f /usr/local/var/logs/*.0   //删除旧的日志SQUID win下的日志清除c:/squi
    开源Squid日志分析与报告自动生成工具
    描述中指出该工具是一个专门用来分析Squid服务器生成的日志文件，并根据分析结果生成报告的软件。Squid服务器会记录详细的访问日志，这些日志中包含了各种用户请求的信息，包括请求的时间、请求的对象、请求者IP、...
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值