awk,cut分割字符效率测试

最新推荐文章于 2025-02-26 19:08:52 发布
转载 最新推荐文章于 2025-02-26 19:08:52 发布 · 532 阅读 · 1 ·
CC 4.0 BY-SA版权
原文链接：https://yq.aliyun.com/articles/24169
文章标签：

#awk #shell

本文通过实际测试比较了使用awk和cut两种工具处理字符串的效率。结果显示，在特定场景下，cut命令的性能优于awk，特别是在涉及多次操作时。此外，还发现awk内置函数的效率远高于自定义正则表达式的效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

通过#或者@来分割字符串，可以通过awk或者cut来实现，awk可以通过正则，或者split来实现。
都能实现目标，那么他们的效率怎么样呢？我们来测试一下

[root@nagios fx]# time awk -F[#@] ‘{print $4}’ www>/dev/null
real    1m9.570s
user    1m9.202s
sys     0m0.340s
[root@nagios fx]# time awk -F# ‘{split($3,A,”@”);{print A[2]}}’ www>/dev/null
real    0m22.342s
user    0m22.123s
sys     0m0.220s
[root@nagios fx]# time cut -d# -f 3 www | cut -d@ -f2 >/dev/null
real    0m17.283s
user    0m26.298s
sys     0m0.486s
如此来看，2次cut的效率都大大高于awk
awk的内置函数效率大大高于自己正则匹配
实现同样的目标，用不同的方式得到完全不一样的效率~
万字长文搞懂Linux 字符截取命令：cut、awk、sed
吻等离子的博客
04-16 823
Linux 系统中，日志文件、配置文件和命令输出通常包含大量文本数据。提取特定字段或列（如从日志中提取时间戳）。转换文本格式（如替换、分隔）。过滤和整理数据（如按条件筛选行）。cut是一个简单高效的工具，用于从文本行中提取特定部分。它支持按字符、字节或字段（以分隔符分割）进行截取，常用于处理结构化的文本数据（如 CSV 文件或命令输出）。awk是一个功能强大的文本处理工具，支持模式匹配、字段处理、计算和编程逻辑。
linux中shell,awk,sed截取字符串方法总结
夫君子之行,静以修身,俭以养德,非淡泊无以明志,非宁静无以致远.
02-12 8267
Shell 第一种： ${parameter%word} 最小限度从后面截掉word ${parameter%%word} 最大限度从后面截掉word ${parameter#word} 最小限度从前面截掉word ${parameter##word} 最大限度从前面截掉word word可以是一个具体的字符串，也可以是一个模式字符串。 例子： str='http://www.你的域名....
awk与cut命令进行比较（就awk与cut按列提取文本内容方面进行比较）
01-09
实验：awk与cut命令进行比较 首先创建2个文件一个脚本文件一个txt文件 touch /tmp/test.sh /tmp/test.txt 创建成功 接下来进行实验 在脚本中随便写点东西用于测试用 执行权限不够 修改权限 修改成功 执行脚本 查看执行脚本后的结果 用cut和awk命令按列去文本进行提取 用cut分别提取第一列第二列 明显提取失败可见对于cut并不认识空格符所以它把这3列作为整体。接下来用awk提取 也是提取前2列 提取成功 可见对于awk把空格符当作分隔符，但是对于cut并不适用。 接下来做关于制表符的实验 重新编辑shell脚本文件 然后执行这个脚本文件
awk截取字符串与cut的区别
qq_43166888的博客
07-12 373
awk---用于使用空格作为分隔符的文本，如： awk '{print $5}' 截取以空格为分隔符的第五列 cut---更为简单，适用于很多情况，如： cut -d ":" -f 1 截取以：为分隔符的第一列
shell中字符提取命令awk和cut的不同
小强强的博客
12-10 2188
shell编程中，用于字符提取或者截取的命令有3个，分别是cut，awk，sed，严格的说，sed不能说字符截取命令，他是字符替换命令，在这里，我们总结一下cut和awk的不同：1命令的使用格式不同cutcut [选项] 文件名 ·选项可以为： -f 列号 ： 提取第几列 -d 分隔符 ：按照指定的分隔符将一行分割成数列，cut默认的分隔符是制表符 awkaw
Linux awk高级应用和cut的使用
01-05
shell中色彩处理,awk高级应用, cut的基本使用,很多案例，可以实践
shell awk字符串分割
10-20
常用的分割字符串的命令是awk、cut和sed，其中awk最为强大和灵活。 通过awk指定分隔符来进行字符串分割的语法为：awk -F 分隔符 '{print $1}' 文件名。其中，-F指定分隔符，{}中的语句用于处理每一行数据，$1表示第...
Shell编程高级篇之字符截取和替换命令（cut、printf、awk）
老徐是个铁憨憨
05-09 1449
请坐！字符截取和替换命令cut命令printf命令（动作）awk命令awk 预定义条件awk 关系运算条件awk 包含匹配关系awk 内置变量awk 的数值运算 字符截取和替换命令 cut命令 命令格式：cut +参数 +文件名 参数： -f 列号：提取第几列，默认识别制表符分割出来的列 -d 分隔符：按照指定的分割符进行分割，然后结合-f提取指定列，如：-d “:” 表示以冒号为分隔符 -c 字符范围：不依赖分割符来分割，而是通过字符范围进行提取 n-m表示从第n提取到第m个字符 n-表示从第n
Linux awk将文件某列按照逗号分隔的例子
09-15
在实际工作中，awk可以根据需要与其他命令（如`cut`、`sed`、`grep`等）结合使用，处理各种复杂的文本数据任务。同时，awk还支持自定义函数和变量，能够处理更复杂的逻辑和数据格式转换，是Linux系统中不可或缺的...
choose:一种人性化且快速的 cut 和（有时）awk 替代方案
08-04
选择 这是choose ，一种人性化且快速的替代方法cut和（有时） awk 特征 类似于 Python 的列表切片的简洁字段选择语法 从行尾开始负索引 可选的开始/结束索引 零索引 反向范围 对于足够长的输入，比cut略快，比awk快得多 使用 Rust 正则表达式语法的正则表达式字段分隔符 基本原理 AWK 编程语言专为文本处理而设计，在这方面的能力非常强。 但是， awk命令对于快速使用 shell 并不理想，即使对于最简单的程序，它也需要引用用花括号括起来的一行： awk ' {print $1} ' 同样，由于其令人困惑的语法， cut远非快速使用 shell 的理想选择。 字段分隔符和范围在第一次尝试时很难做到。 正是出于这些原因，我向您介绍了choose 。 它并不意味着是上述任何一种工具的直接替代或完全替代，而是一个简单而直观的工具，可以在awk或cut的基础知识可以
cut与awk实测对比
jupiterpan的专栏
02-25 527
$ time awk '{print $1}' *un > awk_cut real 0m4.164s user 0m3.609s sys 0m0.554s $ time cut -d ' ' -f 1 *un > cut_awk real 0m21.679s user 0m21.243s sys 0m0.411s 测试文本格式 3.0...
linux 执行效率,awk[执行效率]的问题
weixin_34028581的博客
05-25 655
背景：甲方客户有个需求，有三个文件，要我拿两个文件与另个文件对比，把重复的找出来。首先我应该：-bash-3.2$ sort 12.12-12.19.txt |awk '{print $1}' |uniq -d-bash-3.2$ sort 12.19-12.26.txt |awk '{print $1}' |uniq -d-bash-3.2$ sort xinmin.txt |awk '{pri...
Linux运维实例 应用awk来进行高效率运维
weixin_49172531的博客
03-16 620
文章目录前言一、awk的工作原理原理命令格式常用选项二、使用方法1.文件输出BEGIN用法2.根据条件来精确匹配文件中的字符三元运算符管道和双引号调用shell命令 前言 awk和sed类似 都是编辑器的一种 但在原理和功用上不太一样 sed是流处理器 线性去执行 awk是根据模式和条件执行编辑命令 一、awk的工作原理 原理 awk是逐行读取文本，默认以空格或者tab来为分隔符进行分割，将分割所得到各个字段保存至内建变量中，并按模式或者条件执行编辑命令。 相比sed，awk倾向于一个将一行分为多个"字
shell脚本中cut命令与awk命令的区别
txxjava5201314的博客
01-09 2345
1.默认的分隔符不同 cut默认的分隔符是制表符，awk默认的分隔符是一个空格或者多个空格或者是制表符。 当然也可以用awk命令来分隔，截取到同样的字符串 但是当一个文件中每一行都含有一个或多个空格时，这时候只能用awk来分隔，例如： 2.语法格式不同 cut [选项] 文件名 · 选项可以为： -f 列号 ： 提取第几列 ...
【22】linux进阶——文本处理工具：cut、awk、sed
weixin_51338719的博客
04-27 2131
今天主要介绍文本处理工具cut、sed、awk，用好这三个工具，能方便你在海量数据中提取你想要的数据部分。
linux 文本处理工具 cut 和 awk
weixin_46376562的博客
08-06 937
文本处理工具 cut 和 awk
awk与shell效率比较
taotao193051的专栏
10-25 3453
需求：对比2个文件，找出仅存在文件A中的行 方法1： cat fileA | while read line do get=cat fileB|grep $line if [[ x”get”==x]];thenechoget” == x ]];then echo line >> diff.log fi done 方法2： awk ‘
日志提取中awk 和 cut 分割文本的不同
最新发布
zhaoyong631的博客
02-26 332
在日志提取中，awk 和 cut 都可以用来 分割文本，但它们的方式不同，适用场景也不同。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值