用awk写一个脚本，提取每行第一次出现的单词。

最新推荐文章于 2022-03-16 11:22:09 发布
转载 最新推荐文章于 2022-03-16 11:22:09 发布 · 4.9k 阅读 · 0
文章标签：

#脚本 #dns服务器 #文档 #ftp服务器 #postgresql #solaris

讨论了如何使用awk命令从文本文件中提取每行首次出现的单词。通过实例展示了awk的强大功能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 原贴:http://bbs.chinaunix.net/thread-1364558-1-1.html

用awk写一个脚本，提取每行第一次出现的单词。


1 2 3 4 ››

首页 » 论坛 » Shell »
  •  
    •  

    [打印] [订阅] [收藏] [本帖文本页] [推荐此主题给朋友，立即获积分]
    jean2e
    侠客




    UID：791776
    注册：2008-12-6
    最后登录： 2009-02-09
    帖子： 13
    精华：0

    可用积分：23 (白手起家)
    信誉积分：0
    专家积分：0 (本版:0)
    空间积分：0
    推广积分：0

    状态： ...在线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    1楼 发表于 2009-2-7 14:27 
    百思不得其解
    111:user:x:1000:(www-data id):(?):(?)
    111:222:user:x:1000:(www-data id):(?):(?)
    111:user:x:1000:(www-data id):(?):(?)



    您对本贴的看法：鲜花[0] 臭蛋[0]
    haimming
    风云使者




    UID：762165
    注册：2008-9-14
    最后登录： 2009-02-09
    帖子： 615
    精华：0

    可用积分：1542 (家境小康)
    信誉积分：0
    专家积分：20 (本版:10)
    空间积分：0
    推广积分：0

    状态： ...离线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    2楼 发表于 2009-2-7 14:36 
    是每行出现的第一个单词吗？上面的例子全是user?



    您对本贴的看法：鲜花[0] 臭蛋[0]
    haimming
    风云使者




    UID：762165
    注册：2008-9-14
    最后登录： 2009-02-09
    帖子： 615
    精华：0

    可用积分：1542 (家境小康)
    信誉积分：0
    专家积分：20 (本版:10)
    空间积分：0
    推广积分：0

    状态： ...离线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    3楼 发表于 2009-2-7 14:43 


    [Copy to clipboard] [ - ]
    CODE:
    sed -r 's/[^a-zA-Z]*([a-zA-Z]*).*//1/' urfile




    您对本贴的看法：鲜花[0] 臭蛋[0]
    ynchnluiti (andy)
    精灵使



    UID：90672
    注册：2003-8-29
    最后登录： 2009-02-09
    帖子： 3315
    精华：0

    可用积分：12986 (大富大贵)
    信誉积分：100
    专家积分：560 (本版:190)
    空间积分：0
    推广积分：1282

    状态： ...在线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    4楼 发表于 2009-2-7 16:19 
    是不是每行可能包含多个单词，每个单词可能重复出现



    您对本贴的看法：鲜花[0] 臭蛋[0]

    __________________________________

    天行健，君子以自强不息
    发奋忘食，乐以忘优，不知老之将至
    温故而知新
    jean2e
    侠客




    UID：791776
    注册：2008-12-6
    最后登录： 2009-02-09
    帖子： 13
    精华：0

    可用积分：23 (白手起家)
    信誉积分：0
    专家积分：0 (本版:0)
    空间积分：0
    推广积分：0

    状态： ...在线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    5楼 发表于 2009-2-7 16:28 


    QUOTE:
    原帖由 ynchnluiti 于 2009-2-7 16:19 发表
    是不是每行可能包含多个单词，每个单词可能重复出现

    是的！



    您对本贴的看法：鲜花[0] 臭蛋[0]
    jean2e
    侠客




    UID：791776
    注册：2008-12-6
    最后登录： 2009-02-09
    帖子： 13
    精华：0

    可用积分：23 (白手起家)
    信誉积分：0
    专家积分：0 (本版:0)
    空间积分：0
    推广积分：0

    状态： ...在线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    6楼 发表于 2009-2-7 16:30 


    QUOTE:
    原帖由 haimming 于 2009-2-7 14:43 发表

    sed -r 's/[^a-zA-Z]*([a-zA-Z]*).*//1/' urfile

    谢了。我主要想知道用awk解决的方法:mrgreen:



    您对本贴的看法：鲜花[0] 臭蛋[0]
    我是DBA   帅哥 (我在学习，我要进步)
    大天使
    打破水锅问到底。



    UID：713644
    注册：2008-6-3
    最后登录： 2009-02-09
    帖子： 2447
    精华：0

    可用积分：7481 (富足长乐)
    信誉积分：10
    专家积分：25 (本版:25)
    空间积分：808
    推广积分：30

    状态： ...在线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    7楼 发表于 2009-2-7 20:53 


    [Copy to clipboard] [ - ]
    CODE:
    awk -F'[^a-zA-Z]+' '{print $2}' 　ufile

    [test@erpdataserver ~]$ cat 1
    111:user:x:1000:(www-data id):(?):(?)
    111:222:user:x:1000:(www-data id):(?):(?)
    111:user:x:1000:(www-data id):(?):(?)
    [test@erpdataserver ~]$ awk -F'[^a-zA-Z]+' '{print $2}' 1
    user
    user
    user



    您对本贴的看法：鲜花[0] 臭蛋[0]

    __________________________________

    要看的书太多了。。
    我是DBA   帅哥 (我在学习，我要进步)
    大天使
    打破水锅问到底。



    UID：713644
    注册：2008-6-3
    最后登录： 2009-02-09
    帖子： 2447
    精华：0

    可用积分：7481 (富足长乐)
    信誉积分：10
    专家积分：25 (本版:25)
    空间积分：808
    推广积分：30

    状态： ...在线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    8楼 发表于 2009-2-7 21:46 
    回复 #7 我是DBA 的帖子

    自己写完才发现awk好强大。



    您对本贴的看法：鲜花[0] 臭蛋[0]

    __________________________________

    要看的书太多了。。
    haimming
    风云使者




    UID：762165
    注册：2008-9-14
    最后登录： 2009-02-09
    帖子： 615
    精华：0

    可用积分：1542 (家境小康)
    信誉积分：0
    专家积分：20 (本版:10)
    空间积分：0
    推广积分：0

    状态： ...离线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    9楼 发表于 2009-2-7 21:55 
    回复 #8 我是DBA 的帖子

    看了你们的例子，有同感
    学好了sed我就学awk！



    您对本贴的看法：鲜花[0] 臭蛋[0]
    版主 kns1024wh   帅哥 (flaging)
    广告杀手－法师



    UID：264250
    注册：2005-5-8
    最后登录： 2009-02-09
    帖子： 5358
    精华： 1

    可用积分：19901 (大富大贵)
    信誉积分：100
    专家积分：105 (本版:0)
    空间积分：0
    推广积分：630

    来自：XA-BJ-SZ
    状态： ...离线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    10楼 发表于 2009-2-7 22:00 
    回复 #8 我是DBA 的帖子

    很过功能都可以是实现的

    18、Awk脚本编写入门指南
    rl6adventurer的博客
    07-14 10
    本博客是一篇关于Awk脚本编写的入门指南，介绍了Awk语言的基本概念、编程模型、模式匹配、字段处理以及表达式的使用等内容。通过示例和实践，帮助读者快速掌握Awk脚本编写技巧，并能够应用于数据处理和信息检索等任务。
    多年总结，倾情奉献，手把手教你如何从零开始写出优雅的shell脚本（一）
    景天科技苑
    01-25 1万+
    多年总结，倾情奉献，手把手教你，如何从零开始写出优雅的shell脚本。 shell是一个命令解释器，它在操作系统的最外层，负责直接与用户对话，把用户的输入结果给操作系统，并处理各种各样的操作系统的输出结果， 输出到屏幕反馈给用户。这种对话的方式可以是交互式的（从键盘输入命令，可以立即得到shell的回应），例如输入pwd，屏幕会返回相应结果
    awk 获取第一个单词_您的第一个使用后退模型的自然语言处理项目单词预测器...
    weixin_26750481的博客
    09-29 963
    awk 获取第一个单词A gentle introduction to NLP NLP入门 Last week, I finished the entire Data Science Specialization from Johns Hopkins University on Coursera, and in this article, I want to talk a little bit ...
    awk命令的使用======使用脚本,获取一个文件每一行的第n(2,3)个元素(使用你使用过的任何脚本)
    陆山右的技术博客
    11-17 2995
    awk  '{print $2}'  /home/thomas/china.txt 使用vim编辑china里边的内容 执行awk命令: awk  '{print $2}'  /home/thomas/china.txt   成功了 ============================================== "英文的可以,中文的好像有点问题." banan...
    awk 命令 只处理第一个匹配的行和只处理指定行
    boazheng的博客
    02-16 4376
    AWK技巧： 1、awk只处理第一个匹配的行，匹配后使用exit命令退出处理： awk '/version/{print $1;exit;}' input.txt 处理3个匹配行后结束处理： awk '/aa/{i++;if(i<3){print $0}else{exit;}}' a 2、只处理指定的行。NR表示输入文件的行号 awk 'NR==1,NR==5{print $0}' file ———————————————— 版权声明：本文为优快云博主「hongweigg」的原创文章，遵
    linux字符串第一个字母排序,如何用shell脚本实现单词及字母去重排序？
    weixin_42468580的博客
    04-30 906
    在linux中处理文件的命令有sed、awk、grep、tr等，而对于去重复排序的命令有sort、uniq等，在处理文件时首先要考虑的是文本的结构是否存在规律。问题中是需要对单词及字母进行排序，这里需要考虑的问题是单词中是否存在大写字母？单词是否和标点符号连接？如果需要统计排序的是字符串，我们可以使用下面的命令。[root@api ~]# echo ${str,,}|sed 's/[^a-z]/ ...
    awk之取每天的第一条记录和最后一条记录
    系统运维
    11-24 1127
    文本: 2011-10-25 8:41:20 2011-10-25 8:41:38 2011-10-25 18:10:09 2011-10-26 8:29:05 2011-10-26 18:07:27 2011-10-27 8:35:41 2011-10-27 18:51:18 2011-10-28 8:38:00 2011-10-28 18:08:01 2011-10-29
    Shell脚本文本三剑客之AWK
    m0_51160032的博客
    10-28 4470
    一、AWK工具介绍 AWK 是一种处理文本文件的语言，是一个强大的文本分析工具 可以在无交互的模式下实现复杂的文本操作 相较于sed常作用于一整个行的处理，awk则比较倾向于一行当中分成数个字段来处理，因为awk相当适合小型的文本数据。 1.1AWK命令的基本格式 awk [选项] ‘模式条件{操作}’ 文件1 文件2... awk -f|-v 脚本文件 文件1 文件..... 1.2AWK工作原理 前面提到sed命令常用于一整行的处理,而awk比较倾向于将
    awk学习手册.docx
    08-09
    每行数据可以匹配多个模式，但每个模式对应的操作只会执行一次。 4. **awk 的环境变量** awk提供了一些内置的环境变量，如`NR`（已读取的记录数）、`NF`（当前记录的域数）、`FS`（字段分隔符，默认为空格或制表符...
    【Shell脚本中使用awk和sed】：文本处理在脚本中的高级应用解析
    ![【Shell脚本中使用awk和sed】：文本处理在脚本中的高级应用解析]...第四章展示了如何结合awk和sed进行日志分析、数据统计和报告生成等综合应用，第五章总结了相关最佳实践，包括性能优化、跨平
    编写一函数 用户输入字符串 函数将获取第一个单词输出 并丢掉后面的字符（图）
    尽心篇
    06-04 1085
    #include "stdAfx.h" #include "ctype.h" #include "stdlib.h" #include "string.h" int main(int argc,char * argv[]) { void name(char a[]); char ch[51],aame[51]; name(ch); puts(ch); system("pause")
    Linux命令之awk
    The Big Data的博客
    04-28 518
    awk命令常用工具命令 awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk有很多内建的功能，比如数组、函数等，这是它和C语言的相同之处，灵活性是awk最大的优势。
    Linux awk用法
    zjp的博客
    03-16 1127
    输出第一个单词首字母顺序>m的单词，否则输出----基本语法 awk -F '分隔符' ‘过滤条件 {操作}’ 文件名 准备demo.txt内容如下 root:x:0:0:root:/root:/usr/bin/zsh daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin bin:x:2:2:bin:/bin:/usr/sbin/nologin sys:x:3:3:sys:/dev:/usr/sbin/nologin sync:x:4:65
    awk 练习
    风雪小筑
    02-24 989
    原出处：http://hi.baidu.com/pmghong/item/95f48d203c61572543634a62 http://hi.baidu.com/pmghong/item/344f9b038e81ebbfa2df4362 使用awk对/etc/passwd的数据进行处理： 1、 编写一个 awk 脚本，功能是打印所有输入行。 [root@student04 ~]#
    [转]Awk学习笔记
    heiyeluren的blog（黑夜路人的开源世界）
    02-21 3001
    Awk学习笔记整理：Jims of 肥肥世家jims.yang@gmail.com>Copyright © 2004 本文遵从GPL协议，欢迎转载、修改、散布。第一次发布时间:2004年8月6日Table of Contents1. awk简介 2. awk命令格式和选项 2.1. awk的
    linux命令取字符串行的第一行,Linux字符截取命令-cut
    weixin_34430334的博客
    04-30 3992
    Linux字符截取命令-cut 做者 | WenasWeihtml一 Linux之cut命令详解将每一个文件中选定的行部分打印到标准输出, 若是没有文件，或者文件是-，则读取标准输入,长选项的强制参数对于短选项也是强制的。nodecut 是一个选取命令,通常来讲，选取信息一般是针对“行”来进行分析的，并非整篇信息分析的,用于显示每行从开头算起 num1 到 num2 的文字。linux1.1 使用...
    linux下AWK实现取输出结果第一行
    热门推荐
    Bladelogic
    12-18 3万+
    awk 'NR==1'  
    《Linux Shell》之四：文件的排序、合并和分割
    yidao620的博客
    06-11 2433
    Linux的文本处理命令，包含sort、uniq、join、cut、paste、split、tr、tar，这些命令能实现对文件记录排序、统计、合并、提取、粘贴、分割、过滤、压缩和解压缩等，它们与sed和awk一起构成了Linux文本处理的所有命令和工具。   5.1 sort命令 # sort [选项] [输入文件] 选项 意义 -c 测试文件是否已经排序 -k ...
    来个AWK的统计单词命令(绝对的强大)
    weixin_33694172的博客
    03-14 821
    [xiaomo@Arch-XIAOMO shell]$ cat awkfile a b c d b d l oj a b v l i ww v l w e r v la w v e a f a w[xiaomo@Arch-XIAOMO shell]$ awk '{for(i=1;i<=NF;i++)a[$i]++}END{for(i in a)print i,a[i]}...
    用shell抓取SUBCKT后的第一个name并在文本中全局增加后缀
    最新发布
    03-21
    <think>好的，用户想要在Shell脚本中抓取SUBCKT后的第一个名称，并在整个文本中全局添加后缀。这个问题需要处理电路网表文件，比如SPICE的.subckt子电路定义。首先，我需要明确用户的具体需求：他们可能有一个包含多个子电路定义的文件，每个子电路以.SUBCKT或.subckt开头，后面跟着子电路名称和可能的引脚列表。用户希望提取每个子电路名称的第一个单词，然后在整个文件中为这些名称添加指定的后缀。 接下来，我需要考虑如何用Shell命令实现这一点。可能需要使用sed或awk来处理文本。首先，识别所有.SUBCKT行，提取第一个名称，然后记录这些名称，最后在整个文件中替换这些名称。但需要注意的是，替换时要确保只替换整个单词，避免部分匹配。例如，如果子电路名称是“abc”，要防止替换“abcd”中的“abc”。 然后，用户提到全局增加后缀，这意味着每个子电路名称后都要加上一个统一的后缀，比如原名称是“opamp”，后缀是“_1”，则变为“opamp_1”。需要确保在所有出现该名称的地方都进行替换，而不仅仅是在.SUBCKT行。这可能涉及到多次替换不同的上下文，比如在X调用实例时也会用到子电路名称。 可能的步骤包括： 1. 使用grep或sed提取所有.SUBCKT行，并获取第一个名称。 2. 将这些名称存储到一个变量或临时文件中。 3. 遍历每个名称，使用sed进行全局替换，添加后缀。 需要注意的是，子电路名称可能有特殊字符，比如包含点或下划线，所以在正则表达式中需要正确处理。另外，大小写是否敏感？例如，.SUBCKT和.subckt是否都要处理？可能需要使用不区分大小写的匹配。 可能的命令示例： 使用sed提取名称：sed -n 's/^\.SUBCKT[ \t]\+\([^ \t]\+\).*/\1/p' filename 然后将这些名称存储，循环处理每个名称，执行sed替换：sed -i "s/\(\b\)$name\(\b\)/\1${name}_suffix\2/g" filename 这里使用了单词边界\b来确保精确匹配，但需要注意不同版本的sed对\b的支持，可能需要使用[[:<:]]和[[:>:]]作为单词边界。 另外，处理多个子电路时，需要确保每个名称都被正确替换，并且替换操作不会相互影响。例如，如果两个子电路名称有包含关系，较短的名称可能在替换时被错误地匹配到较长的名称部分。因此，可能需要按名称长度降序处理，优先替换较长的名称，但这可能比较复杂。 另一个考虑是性能问题，如果文件很大，多次调用sed可能会比较慢。可以考虑使用awk一次性处理所有替换，生成一个替换脚本，然后应用。 总结可能的解决方案步骤： 1. 提取所有子电路名称。 2. 为每个名称生成替换命令。 3. 应用这些替换命令到整个文件。 可能的实现脚本： 使用awk提取名称，保存到数组，然后遍历数组进行替换。或者在sed中生成一个替换脚本，然后一次性处理。 例如，使用sed和循环： names=$(sed -n -e 's/^\.SUBCKT[[:space:]]\+\([^[:space:]]\+\).*/\1/pi' inputfile | sort -u) for name in $names; do sed -i "s/\b$name\b/${name}_suffix/g" inputfile done 但需要注意，sed的-i选项在不同系统上的兼容性，以及单词边界的处理是否正确。此外，原文件中的.SUBCKT行也需要被修改，所以提取名称后，替换时需要包括原来的名称，比如在.SUBCKT行中替换第一个名称，然后在其他行替换所有出现的名称。可能需要分两步：首先处理.SUBCKT行，提取名称并替换，然后处理其他行中的名称。不过这样可能需要两次遍历。 另外，用户可能希望保持子电路定义的.SUBCKT行中的名称也被正确替换，所以需要确保替换操作包括这一行。 可能的优化是，在提取名称的同时，立即构建一个sed命令，将所有匹配的名称替换为加后缀的形式。例如： sed -n "s/^\.SUBCKT \([^ ]\+\)/&\n###SUFFIX \1/p" 但可能更有效的是使用awk来一次性处理，记录所有子电路名称，然后在处理每一行时，检查每个字段是否是已记录的名称，如果是则添加后缀。 例如，使用awk： awk ' BEGIN { suffix = "_suffix" # 设置后缀 } /^\.SUBCKT/ { subname = $2 subnames[subname] = 1 $2 = $2 suffix print next } { for (name in subnames) { gsub("\\<" name "\\>", name suffix) } print }' inputfile > outputfile 这里使用\<和\>作为单词边界，在awk中更可靠。同时，处理.SUBCKT行时，直接修改第二个字段并记录名称，然后在其他行中遍历所有记录的名称进行全局替换。这样只需要一次处理，效率更高。 但需要注意，某些情况下子电路名称可能在行中的其他位置出现，比如注释或其他结构中，这时候替换可能会导致问题。用户需要确保只在需要替换的地方进行替换，比如实例调用（X开头）或其他特定上下文中。但根据用户的需求，可能是要全局替换所有出现的子电路名称，所以上述方法适用。 最后，测试案例很重要，需要准备一个包含多个子电路定义和调用的测试文件，运行脚本后检查替换是否正确，没有误替换或遗漏。</think>在Shell脚本中提取`.SUBCKT`后的第一个名称并全局增加后缀，可通过以下步骤实现： --- ### **步骤说明** 1. **提取子电路名称** 使用正则表达式匹配`.SUBCKT`行的第一个单词，并记录名称。 2. **全局替换名称** 对提取的名称在文本中全局添加后缀，确保精确匹配单词。 --- ### **实现脚本** ```bash #!/bin/bash # 定义后缀（例如 _new） suffix="_new" # 1. 提取所有子电路名称，并去重 subckt_names=$(grep -i '^\.subckt' input.sp | awk '{print $2}' | sort -u) # 2. 逐个名称替换（按名称长度降序，避免短名称误替换长名称） for name in $(echo "$subckt_names" | awk '{print length, $0}' | sort -nr | cut -d' ' -f2-); do # 使用单词边界确保精确匹配 sed -i "s/\b${name}\b/${name}${suffix}/g" input.sp done # 3. 替换.SUBCKT行的原始名称（添加后缀） sed -i "s/^\.SUBCKT \([^ ]*\) /.SUBCKT \1${suffix} /" input.sp ``` --- ### **关键点解释** 1. **提取名称** - `grep -i '^\.subckt'`：不区分大小写匹配以`.subckt`开头的行。 - `awk '{print $2}'`：提取第二个字段（即子电路名称）。 - `sort -u`：去重，避免重复替换。 2. **按长度降序处理** - 避免短名称作为长名称的子串被错误替换（例如：先替换`op`再替换`opamp`）。 3. **精确匹配单词** - `\b`表示单词边界，确保`op`不会匹配`opamp`。 4. **更新.SUBCKT行** 单独处理`.SUBCKT`行，确保名称和后续引脚分隔符正确。 --- ### **测试用例** #### 输入文件 `input.sp` ```spice .SUBCKT opamp in out vdd vss X1 in out vdd vss opamp .SUBCKT filter inp inn ... X2 inp inn filter ``` #### 运行脚本后输出 ```spice .SUBCKT opamp_new in out vdd vss X1 in out vdd vss opamp_new .SUBCKT filter_new inp inn ... X2 inp inn filter_new ``` --- ### **注意事项** 1. **兼容性** - 确保`sed -i`在目标系统支持（如macOS需替换为`sed -i ''`）。 2. **特殊字符** 若子电路名称含特殊字符（如`.`），需转义处理，例如将`sed`替换改为： ```bash sed -i "s/\<${name}\>/${name}${suffix}/g" # 使用\<和\>作为单词边界 ``` 3. **性能** 大文件建议使用`awk`单次处理优化性能。
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值