大文本数据条件查找出指定文本信息,大文本数据筛选出指定信息行并导出到新的文件

大文本数据条件查找出指定文本信息,大文本数据筛选出指定信息行并导出到新的文件

前言

事情是这样的,最近手上有个事情从nginx的日志文件充查找出指定接口的所有访问记录。文件大小3.36G。
在这里插入图片描述

解决方法

如果使用editplus或者其他软件直接打开文本,然后进行搜索拆分出一个新文件,但是打开这个大文本电脑似乎会卡死,那么这个方案就可以就可以舍弃了,但是如果你电脑有足够大的内存那么就问题不大。

推荐方案

当然有不卡死电脑的方法,

执行命令:

grep [查询的信息] [目标文本] >> [新的文件]

命令解释

把根据关键字匹配目标文件的行,然后写到一个新的文件。

例如

grep api/book access-log-20211130 >> 211130.log

结果

在这里插入图片描述

总结

但是有局限性,就是通过终端命令,为什么说有局限性,因为windows是无法直接只用终端命令的,需要安装git-bash 然后通过git-bash来执行命令而如mac或者linux系统是可以直接执行命令的。

使用说明 : 1、本程序可以作什么? 本程序功能分为两个部分: 一部分是:批量查找指定路径下的文件中的内容中,是否包含要查询的项目。把查询的内容分文件存储。 一部分是:将文本文件导入EXCEL中,可以将上一步查找的结果导入,也可以自己选择文件导入(支持多选)。 2、如何使用他? a、批量查找: 首先,在“读入位置”按钮处设置你所要读取的文件的存放位置,此时程序会自动读入此文件夹下所有文件,以供选择;其次,用“>>”或“>”将要读取的文件选入读取队列,当然如果选错了可以用“<<”或“<”删除队列,或者鼠标双击选中项删除;再次,点击“+”按钮,添加查找项目到查找项目列表,一次只可以添加一条,如需添加多条则需要重复添加操作;如果添加错误可以双击选中项删除或选中后点击“-”按钮。最后,点击“开始查找”,程序将会把查找结果输保存到指定路径下面的output文件夹下面,你可以选择是否打开目录查看。如果需要查询的文件文件头,可以选择“保留文件”。 b、EXCEL导入: 首先,选择导入方式,导入方式分为“查询结果导入”和“新选文件导入”两种;当选择“查询结果导入”时,本程序将把“读入位置”处“output”文件夹下文件批量导入EXCEL。当选择“新选文件导入”时,本程序在点击“开始导入”时将弹窗口,您可以自己选择需要导入文件(支持多选),导入EXCEL。其次,设置导入文件时的分割符,默认为“|”,本程序只支持按照分隔符导入。最后,点击“开始导入”按钮开始导入。 3、本程序不判断所查找文件类型 由于本程序在读入文件时,没有校验文件的内容和文件类型,因此本程序会读取用户所选择的任意文件,即使此文件是二进制格式的。不论是查询或者是导入功能都是这样。本程序将按读取所选择的文件(或者有换符的),在读取完文件后,无论是否找到,都会创建和源文件相同类型的文件,即使是.exe或.rar(一般是打不开的),文件名存储为“output”+原文件名。即使没有找到任何相匹配的内容,本程序也会创建文件,这时后文件小是0字节,可以按照小排列看到。 4、请使用“清除文件”按钮及时清除查询结果 程序在查询和创建文件的过程中,不会判断是否已经执过查询操作。如果已经执过查询操作,“output”文件夹下就会存在查询文件,当再次执查询时,本程序会在已存在的文件后追加查询结果。这样就会现重复的记录或内容。因此,当需要多次查询时,每次查询前需要点击“清空文件”按钮删除output文件夹,才能保证查找的准确。 5、本程序不会判断运的环境,因此在运过程中可能会有些未知的错误 本程序在win7环境,vs2012,Netframe4.0下编译通过。本程序支持winxp及以上操作系统。执EXCEL导入的时候,需要安装Office。Office的版本在2003以上就可以。但是不同我Office版本对导入性能,有一定的影响。Excel2003,最多256列,即2的8次方,最多65536,即2放入16次方; Excel2007及以上版本,最多16384列,即2的14次方,最多1048576,即2的20次方。因此如果需要导入的单个文件数或者列数,超过了所安装Office版本的最多列数,程序将会报错!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值