sed截取慢SQL大文件并导出指定时间范围内容

原创于 2025-08-26 11:54:24 发布 · 225 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#sql #数据库 #sed

Linux系统同时被 2 个专栏收录

33 篇文章

订阅专栏

shell

5 篇文章

订阅专栏

有一个5G的慢SQL文件，需要导出指定时间段内的所有慢SQL记录，因为一些神奇的原因，慢SQL文件没有配置日志轮转（logrotate）,所以决定使用grep和sed命令来完成过滤查询。

1.grep查询指定时间段开始时间的行号

[root@DB-master mysql]# grep -n '# Time: 250824 14:00' slow-master.log | head -1
149623336:# Time: 250824 14:00:03

2.grep查询指定时间段结束时间的行号

[root@DB-master mysql]# grep -n '# Time: 250824 14:30' slow-master.log | head -1
149637005:# Time: 250824 14:30:04

3.sed根据行号过滤导出文件内容

sed -n '149623336,149637005p' slow-master.log >> slow_log_master_1400_1430.log

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

**AE86**

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

第79讲： MySQL Binlog二进制日志恢复误删数据的实践指南

江晓龙的博客

12-18

1万+

根据需求我们得知要恢复误删除的这张表，那么在事件信息中找到创建该表的事件，这个事件的开始标识位就作为我们截取Binlog日志的开始标识位号，结束标识位更好确定了，在事件信息中找到删除表的事件，这个事件的开始标识位也就作为我们截取Binlog日志的结束标识位，开始标识位号是上一个事件的结束表示为号。注意：一定不要将删除表事件的结束标识位号作为截取Binlog日志的结束标识位号，如果截取Binlog日志的结束标识位号是删除表的结束标识位号，就会把删除表的操作在还原时又进行了一遍，数据就不能恢复了。

grep、awk、sed三剑客企业级实战

悦分享

11-26

212

通过pgrep命令，可以只指定进程的一部分名称从运行进程队列中进行查看进程的PID信息，但只输出PID号，不便于理解。所以命令结果都输出到空设备文件，而& 表示等同于的意思，2>&1，表示2的输出重定向等同于1。所以就是1，2 都都输出到空设备文件中(黑洞)。这个命令会删除inputfile的第一行，然后在每一行前添加空格，之后通过sort命令进行排序，并将结果输出到outputfile。grep 是一个非常实用的命令行工具，它在多种工作环境中都有广泛的应用，以下是一些典型的 grep 工作场景。

参与评论您还未登录，请先登录后发表或查看评论

mysql慢日志时间_mysql 慢日志截取时间段

weixin_33180243的博客

01-19

478

执行mysqldumpslow –h可以查看帮助信息。主要介绍两个参数-s和-t-s 这个是排序参数，可选的有：al: 平均锁定时间ar: 平均返回记录数at: 平均查询时间c: 计数l: 锁定时间r: 返回记录t: 查询时间-t n 显示头n条记录###########################通常需要查看某个时间段的日志信息：cat slowquery.log|grep "# Time:...

shell获取指定日期的nginx日志

大爱仙尊

10-08

2万+

1. 进入nginx的日志目录 2. 执行shell命令 sed -n '/10\/Sep\/2021/','/12\/Sep\/2021/p' /usr/local/nginx/logs/access.log > log.txt 3. notepad正则过滤文本删除X之后的所有字符用：X.*$ 删除X之前的所有字符用：^([^s]*)X ...

linux awk输出到文件内容,使用awk格式化输出文本

weixin_35537635的博客

05-06

4078

注意：本文并不是一篇awk入门文章，而是偏重实例讲解awk借鉴了c语法，因此awk在许多地方还保留有C语言的痕迹，比如printf语句；for，if的语法结构等介绍最简单地说，AWK 是一种用于处理文本的编程语言工具，处理模式是只要在输入数据中有模式匹配，就执行一系列指令。awk命令格式为：awk {pattern + action} {filenames}awk可以读取后接的文件，也可以读取来自...

linux截取日志文件行数,linux日志文件過大，想要截取執行時間的日志信息如何截取...

weixin_36092871的博客

04-29

540

1.首先第一步查看你日志的時間格式：09:28:06,651 ERROR [stderr] (http-/0.0.0.0:8080-1) org.springframework.jdbc.BadSqlGrammarException:09:28:06,656 ERROR [stderr] (http-/0.0.0.0:8080-1) ### Error updating database. Ca...

mysql dump 指定表_mysqldump恢复指定表

weixin_42386504的博客

01-19

922

如果mysql服务器上不能随意安装软件，当需要从全备份中恢复单个表，怎么办？1.mysqldump备份指定数据库，如ivr[mysql@bjmysql01]$ mysqldump -utelivr -p123456 -F -R --events --databases ivr |gzip >ivr_$(date +%F).sql.gz2. 确认备份文件已经生成[mysql@bjmysql01...

oracle 按分隔符导出,将oracle库中表导出为外部文本并指定分隔符

weixin_34008445的博客

04-07

2085

方法一：使用spool进行保存SQL>spoolemp.txtSQL>selectempno||','||ename||','||job||','||mgr||','||salfromemp;EMPNO||','||ENAME||','||JOB||','||MGR||','||SAL-----------------------------------------------...

Linux sed查看某时间段的系统日志

热门推荐

王洪伟的专栏

07-22

9万+

sed查看某时间段到现在的系统日志： sed -n '/May 20 17/,$p' /var/log/messages | less

linux日志文件过大，想要截取执行时间的日志信息如何截取

jiewenike的专栏

01-10

4658

1.首先第一步查看你日志的时间格式： 09:28:06,651 ERROR [stderr] (http-/0.0.0.0:8080-1) org.springframework.jdbc.BadSqlGrammarException: 09:28:06,656 ERROR [stderr] (http-/0.0.0.0:8080-1) ### Error updating database

sed 功能详解

wanglei_11的博客

02-27

690

sed 功能详解

三剑客sed,awk,grep

woailixiaolin的博客

08-24

773

#sed操作文件sed参数传递，以rem_one开头的sed选取1,2行和第8行输出以下结果。

需要一个方案和思路：hdfs 上无用文件过多，现在需要清理，需要根据数据库表中某个字段值判断该数据是否有用，如果无用则删除。通过如下SQL可以查出哪些记录是有用的： SELECT t.JOB_ENGINE_KEY AS '任务实例唯一标识' FROM t_app_instance t WHERE t.state in ("RUNNING", "STARTING","CANCELLING") AND t.ENGINE_VERSION in ('FLINK_VERSION_1_12', 'FLINK_VERSION_1_14', 'FLINK_VERSION_1_18') LIMIT 500; 查询的结果是类似 s-1922832437116522497 的字符串集，即在用的数据列表 ./hdfs dfs -ls /flink-ha 命令可以查出 hdfs 上所有文件夹列表（文件夹路径类似于：/flink-ha/s-1962349822816292865），这些文件夹有些是不再用的，需要清理。注意数据库查询的字符串结果集中的每个字符串全名是 hdfs 上 /flink-ha/ 目录下文件夹名，判断 hdfs 上文件夹是否删除就是判断路径名是否匹配数据库的查询结果用 shell 脚本实现。如果 shell 脚本里面不方便连接数据库，方案上可以考虑把数据库查询结果导出到文件里面，然后基于文件内容判断 hdfs 数据是否有用。 ./hdfs dfs -rm -r /flink-ha/s-1962755932756905985 就是可用的删除命令。注意，实现过程注意校验，不能误删有用文件，可考虑加入人工确认机制

最新发布

09-04

例如：使用mysql命令将结果导出到文件useful_folders.txt（注意：需要确保每个文件夹名称一行，没有其他多余内容）。步骤2：获取HDFS目录下的文件夹列表使用hdfs dfs -ls命令获取/flink-ha目录下的所有文件夹...

oracle使用批处理文件expdp定时备份

Nightwish5的博客

10-27

1587

bat文件： @echo off echo ================================================ echo Windows环境下Oracle数据库的自动备份脚本 echo 1. 使用当前日期命名备份文件。 echo ================================================ ::对应用户名 set USER=QXXXXX ::对应用户的密码 set PASSWORD=QXXXXX ::导出数据(根据日期加时分秒来命名备

网易云音乐解锁

Alex

06-03

3416

https://blog.youkuaiyun.com/weixin_43474271/article/details/100026232

Centos7开机自动挂载samba共享文件夹

Alex

08-07

2743

工具： 1.windows系统下可以访问的共享文件夹 \\192.168.1.166\share 2.一台ip为192.168.1.82的Centos7系统的虚拟机任务：将\\192.168.1.166\share挂载到192.168.1.82:/data/website/share目录下 1.首先安装cifs-utils安装包 yum install cifs-utils -y 2.挂载目录（挂载前确定好要挂载的目录是为空的，不然非空的文件夹挂在后会被清空的） mount -t cif

docker部署prometheus及node_exporter安装

Alex

11-27

2194

参考地址： https://www.prometheus.wang/quickstart/install-prometheus-server.html https://blog.youkuaiyun.com/weixin_43947499/article/details/84788197 Prometheus #创建容器之前先创建prometheus.yml文件,可百度查找模板或去官网下载prometheus的安装包里查找 docker run --name prom -p 9090:9090 -v /etc/p.

按照时间截取nginx日志

Alex

12-12

1906

按照时间截取nginx日志 cat access.log_ |egrep "12/Dec/2019" |sed -n '/14:40:00/,/15:36:00/p' >201912.log sed -n '/11\/Dec\/2019/,/12\/Feb\/2019/p' access.log>20160216.log

腾讯云ddnspod+FTP+IIS实现共享文件夹外网访问

Alex

09-12

1874

由于最近搬了办公室，两个办公室两条宽带，现在的办公室与之前的办公室网络不互通，之前的办公室有一台Windows Server2008的服务器做了文件共享。现在换了办公室不能够访问。咨询网工师傅，说调试费用+网线费用3000，遂放弃硬件解决方案。在查阅资料及结合现有的资源决定使用 IIS+FTP+DDNSPOD来实现外网访问。一.安装IIS及FTP（如已安装请略过此步）参考地址二.IIS部署FTP站点三.在H3C路由器上做外网端口转发，实现外网访问这个做完以后，就可以根据公网ip+转.

sed 截取yaml文件

08-15

你可以使用sed命令来截取一个yaml文件的内容。下面是一个示例命令： ```shell sed -n '/start_pattern/,/end_pattern/p' file.yaml ``` 在这个命令中，将`start_pattern`替换为你想要截取的内容的起始标记，将`end...