grep 比 sed 速度快

最新推荐文章于 2024-07-17 11:05:52 发布
原创 最新推荐文章于 2024-07-17 11:05:52 发布 · 600 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#shell #开发工具 #awk

本文介绍了一种通过解压并分析特定格式压缩文件的方法，利用shell命令如gzip, sed, sort等来统计压缩文件中特定模式的出现次数。该方法能够快速定位到关键信息，对于监控系统状态或进行日志分析具有一定的参考价值。

$ date; gzip -dc message*.gz | sed -n 's/^.*\(@@.......\).*$/\1/p' | sort | uniq -c; date;

Wed Mar 26 16:34:41 HKT 2014

      1 @@URS0016

      3 @@URS0072

      7 @@URS0273

      7 @@URS0347

      5 @@URS0399

Wed Mar 26 16:35:00 HKT 2014

19s

 

$ date; gzip -dc message*.gz | grep @@ | sed -n 's/^.*\(@@.......\).*$/\1/p' | sort | uniq -c; date;

Wed Mar 26 16:35:04 HKT 2014

      1 @@URS0016

      3 @@URS0072

      7 @@URS0273

      7 @@URS0347

      5 @@URS0399

Wed Mar 26 16:35:10 HKT 2014

6s
linux实战(一)----日志的截取-----文本过滤器grep、文本流式编辑器sed、报表生成器awk的运用
直到世界的尽头
12-25 8297
我们前面已经学习过 linux的性能监控,以及网络端口查询命令等等。 怎么让我们查询到的信息按   我们需要的格式 显示生成。 就是我们本章 需要 学习练习的。 主要是grep,sed,awk3个命令的运用。 grep 作用 grep命令可以指定文件中搜索特定的内容，并将含有这些内容的行标准输出。 grep全称是Global Reg
用好 Linux Grep 命令，不夸张的说：工作效率起码提高5倍！
最新发布
网络技术联盟站
10-28 221
在 Linux 环境下工作时，grep命令是每位用户的得力助手。它不仅可以帮助你快速、精准地在文件中查找信息，更能通过巧妙的参数组合大幅提升工作效率。本文将深入介绍如何通过grep命令提高查找速度，解锁更多工作技巧，让你的工作效率轻松翻倍！grep（Global Regular Expression Print）是 Linux 系统中非常常见的文本搜索工具。它通过文本匹配实现快速过滤。可以在单个文件、多文件，甚至递归地在整个文件夹中查找内容。通过grep，用户不仅能快速定位，还能轻松筛除无用信息。
无意中测试了grep，sed，awk的性能差异
weixin_33682790的博客
12-10 770
最近从数据库中导出了230万条文本文件格式的数据记录。开了台freebsd虚拟机。ram 256Mb，cpu 1 core。其实就是测试在相同的硬件环境下，grep，sed，awk（nawk）三个工具的搜索文件的效率。搜索结果：[root@ServerA/var]# time grep 18921373250 vo.txt //grep第一次搜索/20101220/100...
提升工作效率1000%之Linux三剑客（grep、sed、awk）
Maynor的博客
11-02 739
处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。RS：输入记录分隔符；注意：以上都是内置变量，在引用时不需要前面加$，每新建一个变量，都需要加个-v,与变量名之间有无空格都可以，变量可以在引用之后再声明，但那一行的输出会输出空行。下面所说的是Linux中最重要的三个命令在业界被称为“三剑客”，它们是awk,sed,grep。算术操作符：x+y, x-y, x*y, x/y, x^y, x%y。
一句话加速grep近30倍
悟道西方
07-17 1225
最近做一个项目，需要从表达矩阵中提取单个特定基因的表达值。最开始时文件比较小，使用awk单个读取处理也很快，但后来数据多了，从一个1.2 G的文件中提取单个基因的表达需要30 s，用grep来写需要25 S，这在平时写程序是可以接受的，但在网站上是接受不了的。所以就想着如何优化一下。探索下来优化也很简单，把grep换为再加其它参数速度就快了近倍，把时间控制在1 s左右。下面是整个探索过程 （写这篇总结文章是在早晨，服务器不繁忙，所以下面的示例中只能看出来快了5倍左右。这也表明不加LC_All=C时。
Linux文本处理三剑客：grep、sed、awk的综合应用
本文详细介绍了Linux系统中文本处理的核心工具——grep、sed和awk，即通常所说的“文本处理三剑客”。首先，概述了三剑客的基本概念和功能，随后深入分析了每个工具的使用方法、高级技巧和与其他工具的结合方式。第...
【Shell脚本高级用法】：grep和sed处理复杂文件名问题的高级技术
本文探讨了Shell脚本处理复杂文件名的高效方法，重点分析了grep和sed命令的高级用法，以及它们在文件搜索和文本处理中的具体应用场景。通过结合正则表达式、多模式匹配和逻辑运算符，本文详细介绍了如何利用grep进行...
Linux文本处理神器：用grep、sed、awk提升工作效率
!...# 1. Linux文本处理工具概览 Linux作为一个强大的操作系统，提供了诸多文本处理工具，它们是系统管理员和开发人员日常工作中不可或缺的一部分。...主要的文本处理工具有grep、sed、awk等，这些工具各有侧重：
linux列级检索工具,linux下比grep更快速的检索工具ack-grep安装
weixin_42312133的博客
05-11 363
安装系统：ubuntu10.04ack相比grep的10大优点： 0. 更多用户感谢信，随便抽一条： "That thing is awesome. People see me using it and ask what the heck it is." -- Andrew Moore 1. 更快：默认只搜索它预设的格式(如：.lua .py .c .cpp等)。 2. 更绿：只要安装了perl...
python 查找文件内容性能 grep_Python与sed,grep文本查找效率对比小测
weixin_39529443的博客
12-11 442
Gnu awk作者在FreeBSD邮件列表中回答”GNU grep为什么比BSD grep要快“，提到了用到了Boyer-Moore算法，虽然不知道是什么，但感觉很厉害的样子~我猜想grep有多快呢？所以想比较下下python，sed与grep：测试文本：20w行，21M大python普通正则匹配：复制代码代码如下:#!/usr/bin/python3import ref=open('/tmp/t...
grep 处理大文件太慢的方法
weixin_43725997的博客
07-29 6232
grep 处理大文件太慢的方法 1.更换编码方式 LC_ALL=C fgrep -m 1 "content" filename 命令解释： 默认文本都采用UTF-8所以比较慢，因此编码方式换成C语言环境(ascii) grep 带有正则，fgrep则为纯文本匹配，因此会比grep更快 -m 1 只匹配一次，匹配到就终止匹配（根据自己需求调整） 2.并发方式 cat filename | parallel --pipe fgrep -m 1 "con" 命令解释： 使用parallel来并发fgr
linux——grep、sed、awk整理及其比较
20butterfly的博客世界
06-19 9157
一、grep、sed、awk 概述 grep：文本过滤器，如果仅仅是过滤文本，可使用grep，其效率要比其他的高很多 sed：Stream EDitor，流编辑器，默认只处理模式空间，不处理原数据，如果你处理的数据是针对行进行处理的，可以使用sed awk：报告生成器，格式化以后显示。如果对处理的数据需要生成报告之类的信息，或者你处理的数据是按列进行处理的，最好使用awk grep ...
awk和sed字符串处理速度比较与处理速度的测试方法
weixin_33985679的博客
10-21 492
坚持不是胜利，坚持住才是胜利。问题：比如现在有一需求，提取某个配置文件里面的ip地址，能立刻想到的就是根据字符串的规律合理的利用awk和sed来操作。应用场景：做一套软件时，某个配置文件需要批量填写或更改已经填写好了的默认IP地址等信息（尽管在填写时IP地址可以简单的从某些文件或变量中获得，例如在Linux（CentOS6）等平台中可以借助source network congfig文件的方式）。...
grep、sed、awk高效文件处理3剑客
Jmayday
09-17 411
grep、sed、awk我们叫他们三剑客，掌握它们可以更好的运维，提升工作效率，即使不是运维，对我们处理数据都是非常方便的～就很多数据处理来讲，写程序肯定是也能处理的，但是远没有已经存在特定功能的命令更高效，我们只需要操作命令即可。通过本文可以讲解三剑客的一些基础知识和实用，希望大家可以自己动手敲，毕竟自己体会过的印象更深刻，后面还会持续更新。。。 grep 简介 grep是一款强大的文本搜索工具，支持正则表达式。 全称（ global search regular expression(..
比grep更有效率的查询
frylion的专栏
02-04 8080
我们经常用grep在某一文件夹下来查找文本，但是如果一个文件夹很大的话，那么用grep命令就是非常慢。这时候我们不防用xargs命令来分留，看下例： find . |xargs grep 'nibin' 在指定文件夹下用xargs来查找文件。 以下是更多用例： 1. 当你尝试用rm 删除太多的文件，你可能得到一个错误信息：/bin/rm Argument list too long
android 大量代码中 grep 太慢,Python grep代码比命令行的grep慢得多
weixin_32480335的博客
05-27 565
Python作为一种解释语言，而不是编译的C版本的grep总是比较慢。在除此之外，您的Python实现与您的grep示例相同。它不返回匹配的行，它只是测试模式是否匹配任何一行上的字符。更进一步的比较是：grep -q 'approved="no"' FILE它将在找到匹配项后立即返回，并且不产生任何输出。在通过更有效地编写grep()函数，可以大大提高代码的速度：^{pr2}$这使用了io而不是{...
grep、sed、awk的概述比较
awoyaoc的博客
06-21 2422
grep、sed、awk 概述 grep：文本过滤器，如果仅仅是过滤文本，可使用 grep，其效率要比其他的高很多 sed：Stream EDitor，流编辑器，默认只处理模式空间，不处理原数据，如果你处理的数据是针对行进行处理的，可以使用 sed awk：报告生成器，格式化以后显示。如果对处理的数据需要生成报告之类的信息，或者你处理的数据是按列进行处理的，最好使用 awk grep ...
OpenFOAM实用脚本之cat和管道命令grep提取文本信息
陈十七的博客
04-06 1940
本文介绍使用cat和grep等命令构造脚本，提取log文件中的信息，方便CFD的后处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值