又一个故障处理分析日志脚本

# -*- coding: UTF-8 -*-
import os,sys
import gzip

#找出路径下access_log.gz文件
files=[]
fileDir=sys.argv[1]
listFile = os.listdir(fileDir)
for line in listFile:
    filepath = os.path.join(fileDir,line)
    if os.path.isdir(filepath):
        continue;#如果filepath是目录
    if (filepath.find("access_log")<0 or filepath.find(".gz")<0):
        continue;
    files.append(filepath)
        
    
#可能有影响的房型id列表
roomids=[]    
f=open("roomIds.txt",'r')
for line in f:
    roomids.append(line.strip())    
f.close()   

print roomids    

for filename in files:
    #计数器
    count=0
    #解析accesslog
    readfile = gzip.GzipFile(filename)
    for line in readfile:
        if(line.find("http://www.****.com/order/user/orderEdit.jsp?")<0 or (line.find("MSIE 8.0")<0 and line.find("MSIE 9.0")<0)):
            continue;
        roomId=line[line.find("&roomId=")+8:line.find("&partial")]
        if(roomId in roomids):
            count=count+1
            print line
    readfile.close()
                   
print "受影响的*****访问次数为",count
        

 

Shell脚本之日志分析脚本 日志分析是在信息技术(IT)领域中一个至关重要的过程,涉及收集、解析和评估从各种系统和应用程序生成的日志文件中的数据。日志文件记录了系统操作、应用程序事件、网络活动、安全事务和其他IT基础设施组件的状态变化。:日志记录了所有系统活动,可用于检测异常行为、入侵尝试和数据泄露,加强安全措施。以下从Apache日志、Nginx日志、网络连接分析三个案例编写日志分析脚本。:随着组织规模的增长,日志分析解决方案能够轻松扩展,处理不断增加的数据量。:自动化日志分析减少了人工检查日志的需要,使团队能够更快地响应问题。 阅读详情

相关推荐

ARM Cortex-M系列授权解析:从研发到量产的免费与付费之路

本文深入解析了ARM Cortex-M系列内核从研发到量产过程中的授权模式。研发阶段可利用ARM DesignStart等免费资源进行原型验证,但产品商业化量产则需支付授权费与版税。文章对比了采购商用MCU与自研芯片的成本差异,并探讨了RISC-V作为免费替代方案在IoT领域的应用前景与挑战,为开发者提供了清晰的选型指南。

weixin_29292431的博客 494

Linux:使用bash脚本分析日志(交易信息日志分析)

使用bash脚本分析日志 背景 总所周知,线上交易程序不能轻易修改代码,以防止出现不必要的错误。 但于此同时,在进行交易信息分析时,部分需要根据原始数据计算才能得到的指标无法直接获取,而且日志信息比较杂乱,不便汇总分析,因此需要使用bash脚本对日志进行交易情况分析。 ps:经过几天时间的学习,我写了一个简单的日志分析脚本,分享一下大致思路,如果哪位同学有更好的解决方式,欢迎指教。 使用命...

zzz19920821的博客 1279

Goldwasser-Micali 公钥加密系统

1、二次剩余问题 对于整数n ,定义Zn∗={a∈Zn,gcd(a,n)=1}Z^*_n=\{ a∈Z_n,gcd(a,n) =1\}Zn∗​={a∈Zn​,gcd(a,n)=1} 。当存在d∈Znd \in Z_nd∈Zn​ ,使得 d2≡a mod nd^2 \equiv a \, mod \,nd2≡amodn ,称 a 为模 n 的二次剩余;否则称 a 为模 n的二次非剩余。判断 a 是否为模 n 的二次剩余的问题称为模n 的二次剩余问题。 \rule[-10pt]{14.3cm}{0.05em}

不染心的博客 4312

网管日志_JAN172005

人家说系统管理员和网管都很轻松,可最近可忙得不可开交,任务一个接一个来,这些天都在为公司国内和美国两边的网络接入问题寻求ISP的解决方案,上网查找ISP的信息以及看看提供的解决方案是否能满足我们的服务要求,最有意思的是网通的客服MM,打了电话过去,所说的全部都可以在网站上面找到,网站上面没有的她也就不知道了,需要的一些对需求起关键的细节却一问三不知,可人家MM态度却好得夸张,实在不好意思说什么,只

Aceryt 1655

【Pytorch教程】:卷积神经网络 CNN

Pytorch教程目录 Torch and Numpy 变量 (Variable) 激励函数 关系拟合(回归) 区分类型 (分类) 快速搭建法 批训练 加速神经网络训练 Optimizer优化器 卷积神经网络 CNN 目录Pytorch教程目录什么是卷积神经网络 CNN卷积 和 神经网络池化(pooling)流行的 CNN 结构CNN 卷积神经网络MNIST手写数据CNN模型训练可视化训练全部代码 什么是卷积神经网络 CNN 卷积 和 神经网络 卷积神经网络是如何运作的呢, 举一个识别图片的例子, 我们知

nanke_4869的博客 8087

Solidworks钣金设计:折弯系数、K因子与折弯扣除的实战应用解析

本文深入解析Solidworks钣金设计中折弯系数、K因子与折弯扣除的核心概念与实战应用。通过厘清三者间的逻辑关系与换算方法,并结合材料特性、工艺参数及车间实测,指导工程师精准确定展开长度,确保设计图纸与加工实物的一致性,有效提升钣金件设计精度与生产效率。

weixin_29268267的博客 921

Shell+Linux命令实现日志分析

这篇文章主要介绍了Shell+Linux命令实现日志分析,本文给出了结合grep命令、awk命令等实现了几个常用的日志分析统计长命令,需要的朋友可以参考下 一、列出当天访问次数最多的IP 命令: 复制代码 代码如下: cut -d- -f 1 /usr/local/apache2/logs/access_log |uniq -c

1003

告别设备管理器混乱!3分钟学会用STM32CubeMX+Zadig定制专属虚拟串口名称

本文详细介绍了如何利用STM32CubeMX和Zadig工具,为STM32的USB虚拟串口(VCP)定制专属设备名称,从而彻底解决多设备连接时设备管理器端口混乱的难题。通过修改产品字符串描述符并替换驱动,开发者可以在设备管理器中清晰识别不同开发板,显著提升调试效率,尤其适用于多设备协同的竞赛或项目开发场景。

a2b3c4d5e的博客 478

bugly崩溃日志通过js脚本 来自动获取崩溃地址

写这个js的目的。 为了分析崩溃日志,就需要将下图中的这些信息复制出来,使用addr2line来进行解析。 一个一个复制太慢了,就有了这个脚本。 油猴地址: https://greasyfork.org/scripts/439753-%E6%B7%BB%E5%8A%A0bugly%E8%A7%A3%E6%9E%90%E6%8C%89%E9%92%AE/code/%E6%B7%BB%E5%8A%A0bugly%E8%A7%A3%E6%9E%90%E6%8C%89%E9%92%AE.user.js .

u013745685的博客 778

YOLOv11【第三章:高阶应用与落地篇·第1节】一文搞懂,YOLOv11-Seg 实例分割:Mask 原型生成与系数预测原理解析!

🏆 本文收录于专栏 《YOLOv11实战:从入门到深度优化》。本专栏围绕 YOLOv11 的改进、训练、部署与工程优化 展开,系统梳理并复现当前主流的 YOLOv11 实战案例与优化方案,内容目前已覆盖 分类、检测、分割、追踪、关键点、OBB 检测 等多个方向。

**My Coding Family** 1248

Odoo17商城微信支付模块,快速一个实现可在线支付的商城

通过集成微信支付APIv3,Odoo 系统实现了高效、安全的支付流程。Native扫码支付和Jsapi微信浏览器内直接拉起支付为用户提供了更加便捷的支付方式。同时,通过发送下单及支付消息给管理员,商家可以实时了解订单状态并进行相应处理。通过集成微信支付 结合 Odoo 系统内置的商城模块,可以为商家快速实现功能完善、高效的电商解决方案。

AaronZZH 的博客 2268

批处理 Linux,windows批处理 -》 linux平台

下面是编程之家 jb51.cc 通过网络收集整理的代码片段。编程之家小编现在分享给大家,也给大家做个参考。echo offSET devID=***********SET mutID=DUT4@ECHO ONmd c:\"%mutID%_%devID%_pull_LS"echo pull crashsmsadb -s %devID% pull /data/crashsms c:\%mutID%_%...

weixin_42137723的博客 239

SAP 创建PO时提示“不能确定任何组件”

SAP 创建委外加工的PO时提示“不能确定任何组件” 而如果BOM已经创建了,但还是提示该错误保存。 解决办法:1. BOM selection 未配置好; 2. 由于Purchasing prosessing time的设置,如果PO中的delivery time - Purchasing prosessing time是过去的日期,那么会找不到BOM,BOM的有效期需早 于PO审批的有效期。 3. BOM未...

willieyuan的博客 6118

UDP丢包,写了个脚本处理丢包信息

打印信息是recv [xxx],测试了好多次,所以有很多重复信息。而且序号是乱的。因此写了个脚本,将包的重复,空格删除并按数字大小排序,直接用sort -u 排的序是按字母排序的。因此将其他信息除去,用数值排序。

周海汉的开发专栏 1264

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

从 8 行报错到一条故障链:我用蓝耘 MaaS 做了一个 AI 日志分析助手

应用出现故障时,我们往往不是没有日志,而是日志太多了。 一次接口报错,前后可能同时出现数据库连接池等待、SQL 超时、网关 500、缓存重试。每一行都在说话,但它们说的不是同一种语言。人工排查要先筛出异常,再沿时间、请求 ID 和服务调用关系把碎片拼起来。

倔强的石头的博客 3万+

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

Python日志分析与故障定位

Fluentd 是一种开源的数据收集器,旨在统一不同数据源的日志格式,并将其转发到指定的目标,如 Elasticsearch、Kafka 或其他分析平台。通过对日志数据的实时流处理,可以利用 Python 和机器学习算法对异常模式进行检测,自动识别系统中的故障或异常行为。使用ELK Stack的优势在于,它可以通过强大的数据索引和查询功能,迅速定位日志中的异常行为或错误,从而加速故障排查过程。通过这种系统化的分析,运维人员可以快速找到问题的核心,减少故障发生的频率,并提升整体系统的稳定性。

switch616的博客 1816

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

高效运维 10个必备日志处理Shell脚本

linux,shell

u013901725的博客 913

十大shell脚本任务(一)日志文件分析器

日志文件分析器: 目标:编写一个脚本,自动分析服务器日志文件,提取关键错误信息,并发送通知。 价值:实时监控系统状态,及时响应问题。

Bobowen的博客 2326

Linux日志分析和故障处理

一、日志文件简介 1.日志文件用于记录系统、程序运作中发生的各种事件  2.日志文件的分类   1)日志管理服务:由系统服务rsyslog管理    ·软件包 rsyslog-5.8…rpm    ·主程序 /sbin/rsyslogd    ·配置文件 /etc/rsyslog.conf(默认的日志设置)    ·启动脚本 /etc/init.d/rsyslog   2)内核及系统日志:主配...

玖柒 1811

Linux操作文档——分析和排查系统故障(日志)

分析和排查系统故障

生发真人的博客 8087

AI 驱动的日志智能分析:从海量日志到故障根因的自动化挖掘

AI 日志分析的核心价值是将运维人员从海量日志中解放出来,用算法完成日志解析、异常检测和根因推理。Drain 算法解决日志模板提取,LogBERT 解决序列异常检测,自然语言查询降低日志检索门槛。落地路线建议:第一步,统一日志采集与标准化,确保所有服务日志格式一致、包含 trace_id;第二步,部署 Drain 解析引擎,实现日志模板自动提取;第三步,建立日志频率监控,检测模板频率突变;第四步,对核心服务部署 LogBERT 语义异常检测;第五步,构建自然语言查询接口,降低日志检索门槛;

qwe0iop0的博客 5172

Grafana Alloy日志分析:操作日志与故障诊断

Grafana Alloy作为OpenTelemetry Collector的发行版本,提供了强大的可观测性数据管道功能。在实际运维过程中,有效的日志分析和故障诊断是确保系统稳定运行的关键。本文将深入探讨Grafana Alloy的日志系统架构、操作日志分析方法以及常见故障的诊断技巧。 ## 日志系统架构 ### 日志配置块(logging block) Grafana Alloy通过`lo...

gitblog_00943的博客 674

panic 苹果aop_iPhone重启故障 iOS日志分析

iPhone重启故障 iOS日志分析Panic Full文件里面记录了iPhone重启原因,根据对日志数据的分析,我们能得到一些故障信息,以此判断出是哪个硬件导致的问题。进入手机设置 – 通用-隐私-分析-数据,找到对应时间的重启文件,Panic Full开头的文件,如Panic Full – 2020/02/25 17:30,打开文件查看PanicString段落后面的数据。常见错误代码AOP ...

weixin_39531374的博客 6万+

云原生故障排查:日志分析与监控告警

本文介绍了云原生环境中通过日志分析和监控告警进行故障排查的方法。日志分析方面,使用Fluentd等工具收集日志,存储在Elasticsearch中,并通过Kibana进行可视化分析。监控告警方面,借助Prometheus收集系统指标,设置告警规则,通过Grafana展示数据。通过实际案例演示了如何结合ELK Stack和Prometheus/Grafana定位Kubernetes微服务应用的性能问题,最终通过优化服务和数据库解决问题。文章强调日志分析和监控告警是云原生故障排查的关键技术。

fykam的博客 1521

SillyTavern日志分析:故障诊断与性能优化

在AI对话前端开发中,SillyTavern作为功能强大的LLM(Large Language Model)前端工具,每天处理着海量的用户请求、模型调用和数据处理。当系统出现性能瓶颈、连接故障或功能异常时,日志分析成为诊断问题的关键手段。 本文将深入解析SillyTavern的日志系统,提供从基础配置到高级分析的完整解决方案,帮助开发者快速定位问题、优化性能并提升用户体验。 ## 一、Sill...

gitblog_00775的博客 1380

SGLang日志分析:故障排查与性能诊断指南

在大语言模型(LLM)服务部署中,有效的日志分析和故障排查是确保服务稳定性的关键。SGLang作为结构化生成语言框架,提供了丰富的日志记录和监控能力,帮助开发者快速定位问题、优化性能。本文将深入探讨SGLang的日志系统架构、常见故障场景的诊断方法以及性能优化策略。 ## SGLang日志系统架构 ### 多层级日志记录 SGLang采用分层日志架构,支持不同粒度的日志记录: ```mer...

gitblog_00550的博客 1104
上一篇: shell处理故障
下一篇: 最近做的项目总结的目录贴
liyebing
博客等级 码龄20年 32粉丝 63原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值