awk,cut分割字符效率测试

最新推荐文章于 2021-05-25 15:54:12 发布
转载 最新推荐文章于 2021-05-25 15:54:12 发布 · 532 阅读 · 1 ·
CC 4.0 BY-SA版权
原文链接：https://yq.aliyun.com/articles/24169
文章标签：

#awk #shell

本文通过实际测试比较了使用awk和cut两种工具处理字符串的效率。结果显示，在特定场景下，cut命令的性能优于awk，特别是在涉及多次操作时。此外，还发现awk内置函数的效率远高于自定义正则表达式的效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

通过#或者@来分割字符串，可以通过awk或者cut来实现，awk可以通过正则，或者split来实现。
都能实现目标，那么他们的效率怎么样呢？我们来测试一下

[root@nagios fx]# time awk -F[#@] ‘{print $4}’ www>/dev/null
real    1m9.570s
user    1m9.202s
sys     0m0.340s
[root@nagios fx]# time awk -F# ‘{split($3,A,”@”);{print A[2]}}’ www>/dev/null
real    0m22.342s
user    0m22.123s
sys     0m0.220s
[root@nagios fx]# time cut -d# -f 3 www | cut -d@ -f2 >/dev/null
real    0m17.283s
user    0m26.298s
sys     0m0.486s
如此来看，2次cut的效率都大大高于awk
awk的内置函数效率大大高于自己正则匹配
实现同样的目标，用不同的方式得到完全不一样的效率~
万字长文搞懂Linux 字符截取命令：cut、awk、sed
吻等离子的博客
04-16 820
Linux 系统中，日志文件、配置文件和命令输出通常包含大量文本数据。提取特定字段或列（如从日志中提取时间戳）。转换文本格式（如替换、分隔）。过滤和整理数据（如按条件筛选行）。cut是一个简单高效的工具，用于从文本行中提取特定部分。它支持按字符、字节或字段（以分隔符分割）进行截取，常用于处理结构化的文本数据（如 CSV 文件或命令输出）。awk是一个功能强大的文本处理工具，支持模式匹配、字段处理、计算和编程逻辑。
linux中shell,awk,sed截取字符串方法总结
夫君子之行,静以修身,俭以养德,非淡泊无以明志,非宁静无以致远.
02-12 8267
Shell 第一种： ${parameter%word} 最小限度从后面截掉word ${parameter%%word} 最大限度从后面截掉word ${parameter#word} 最小限度从前面截掉word ${parameter##word} 最大限度从前面截掉word word可以是一个具体的字符串，也可以是一个模式字符串。 例子： str='http://www.你的域名....
awk与cut命令进行比较（就awk与cut按列提取文本内容方面进行比较）
01-09
实验：awk与cut命令进行比较 首先创建2个文件一个脚本文件一个txt文件 touch /tmp/test.sh /tmp/test.txt 创建成功 接下来进行实验 在脚本中随便写点东西用于测试用 执行权限不够 修改权限 修改成功 执行脚本 查看执行脚本后的结果 用cut和awk命令按列去文本进行提取 用cut分别提取第一列第二列 明显提取失败可见对于cut并不认识空格符所以它把这3列作为整体。接下来用awk提取 也是提取前2列 提取成功 可见对于awk把空格符当作分隔符，但是对于cut并不适用。 接下来做关于制表符的实验 重新编辑shell脚本文件 然后执行这个脚本文件
awk截取字符串与cut的区别
qq_43166888的博客
07-12 373
awk---用于使用空格作为分隔符的文本，如： awk '{print $5}' 截取以空格为分隔符的第五列 cut---更为简单，适用于很多情况，如： cut -d ":" -f 1 截取以：为分隔符的第一列
shell中字符提取命令awk和cut的不同
小强强的博客
12-10 2188
shell编程中，用于字符提取或者截取的命令有3个，分别是cut，awk，sed，严格的说，sed不能说字符截取命令，他是字符替换命令，在这里，我们总结一下cut和awk的不同：1命令的使用格式不同cutcut [选项] 文件名 ·选项可以为： -f 列号 ： 提取第几列 -d 分隔符 ：按照指定的分隔符将一行分割成数列，cut默认的分隔符是制表符 awkaw
Linux awk高级应用和cut的使用
01-05
shell中色彩处理,awk高级应用, cut的基本使用,很多案例，可以实践
shell awk字符串分割
最新发布
10-20
常用的分割字符串的命令是awk、cut和sed，其中awk最为强大和灵活。 通过awk指定分隔符来进行字符串分割的语法为：awk -F 分隔符 '{print $1}' 文件名。其中，-F指定分隔符，{}中的语句用于处理每一行数据，$1表示第...
Shell编程高级篇之字符截取和替换命令（cut、printf、awk）
老徐是个铁憨憨
05-09 1448
请坐！字符截取和替换命令cut命令printf命令（动作）awk命令awk 预定义条件awk 关系运算条件awk 包含匹配关系awk 内置变量awk 的数值运算 字符截取和替换命令 cut命令 命令格式：cut +参数 +文件名 参数： -f 列号：提取第几列，默认识别制表符分割出来的列 -d 分隔符：按照指定的分割符进行分割，然后结合-f提取指定列，如：-d “:” 表示以冒号为分隔符 -c 字符范围：不依赖分割符来分割，而是通过字符范围进行提取 n-m表示从第n提取到第m个字符 n-表示从第n
Linux awk将文件某列按照逗号分隔的例子
09-15
在实际工作中，awk可以根据需要与其他命令（如`cut`、`sed`、`grep`等）结合使用，处理各种复杂的文本数据任务。同时，awk还支持自定义函数和变量，能够处理更复杂的逻辑和数据格式转换，是Linux系统中不可或缺的...
choose:一种人性化且快速的 cut 和（有时）awk 替代方案
08-04
选择 这是choose ，一种人性化且快速的替代方法cut和（有时） awk 特征 类似于 Python 的列表切片的简洁字段选择语法 从行尾开始负索引 可选的开始/结束索引 零索引 反向范围 对于足够长的输入，比cut略快，比awk快得多 使用 Rust 正则表达式语法的正则表达式字段分隔符 基本原理 AWK 编程语言专为文本处理而设计，在这方面的能力非常强。 但是， awk命令对于快速使用 shell 并不理想，即使对于最简单的程序，它也需要引用用花括号括起来的一行： awk ' {print $1} ' 同样，由于其令人困惑的语法， cut远非快速使用 shell 的理想选择。 字段分隔符和范围在第一次尝试时很难做到。 正是出于这些原因，我向您介绍了choose 。 它并不意味着是上述任何一种工具的直接替代或完全替代，而是一个简单而直观的工具，可以在awk或cut的基础知识可以
cut与awk实测对比
jupiterpan的专栏
02-25 527
$ time awk '{print $1}' *un > awk_cut real 0m4.164s user 0m3.609s sys 0m0.554s $ time cut -d ' ' -f 1 *un > cut_awk real 0m21.679s user 0m21.243s sys 0m0.411s 测试文本格式 3.0...
linux 执行效率,awk[执行效率]的问题
weixin_34028581的博客
05-25 651
背景：甲方客户有个需求，有三个文件，要我拿两个文件与另个文件对比，把重复的找出来。首先我应该：-bash-3.2$ sort 12.12-12.19.txt |awk '{print $1}' |uniq -d-bash-3.2$ sort 12.19-12.26.txt |awk '{print $1}' |uniq -d-bash-3.2$ sort xinmin.txt |awk '{pri...
Linux运维实例 应用awk来进行高效率运维
weixin_49172531的博客
03-16 620
文章目录前言一、awk的工作原理原理命令格式常用选项二、使用方法1.文件输出BEGIN用法2.根据条件来精确匹配文件中的字符三元运算符管道和双引号调用shell命令 前言 awk和sed类似 都是编辑器的一种 但在原理和功用上不太一样 sed是流处理器 线性去执行 awk是根据模式和条件执行编辑命令 一、awk的工作原理 原理 awk是逐行读取文本，默认以空格或者tab来为分隔符进行分割，将分割所得到各个字段保存至内建变量中，并按模式或者条件执行编辑命令。 相比sed，awk倾向于一个将一行分为多个"字
数据人的linux知识（五）-- 分析以及处理文件2（awk）
xiaomeng29的博客
06-15 143
AWK awk是一种文本处理工具，其功能与cut类似，但是比cut强大。当然，代价是awk的计算速度不如cut。 比如说，我们想以特殊的顺序打印列内容： cut -d',' -f17,15,18,16 flightdelays.csv 不过我们会发现，其顺序还是15,16,17,18。cut内部是不支持列元素的特殊顺序显示的！ 但是用awk就可以做到： awk -F',' '{pr...
Shell工具
weixin_38932035的博客
12-14 313
cut cut的工作就是“剪”，具体的说就是在文件中负责剪切数据用的。 cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。 基本用法 cut [选项参数] filename 选项参数： -f 列号，提取第几列 -d 分隔符，按照指定分隔符分割列 默认分隔符是制表符 例子 [mubai@localhost test]$ touch cut.txt [mubai@local...
shell脚本中cut命令与awk命令的区别
txxjava5201314的博客
01-09 2343
1.默认的分隔符不同 cut默认的分隔符是制表符，awk默认的分隔符是一个空格或者多个空格或者是制表符。 当然也可以用awk命令来分隔，截取到同样的字符串 但是当一个文件中每一行都含有一个或多个空格时，这时候只能用awk来分隔，例如： 2.语法格式不同 cut [选项] 文件名 · 选项可以为： -f 列号 ： 提取第几列 ...
shell基础---awk+uniq+sort 统计文件中某字符串出现次数并排序
会哭的雨@的博客
09-20 5128
在服务器开发中，我们经常会写入大量的日志文件。有时候我们需要对这些日志文件进行统计。Linux中我们可以利用以下命令简单高效的实现这一功能。 需要用到的命令简介 cat命令 cat命令主要有三大功能 1.一次显示整个文件 cat filename 2.创建一个文件 cat > fileName 3.将几个文件合并为一个文件 cat file1 file2 > file 参数： -n 或 –number 由 1 开始对所有输出的行数编号 -b 或 –num...
awk分隔字符串,cut
为效率而战
05-07 173
[code="shell"] #!/bin/bash str=`ps -u lts|grep -e ' mocp$'|awk -F ' ' '{print $4}'` if [ -z $str ] ; then mocp -S fi mocp -p sleep 10 mocp -G [/code]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值