用awk写一个脚本，提取每行第一次出现的单词。

使用awk提取文本
最新推荐文章于 2025-07-14 16:47:43 发布
转载 最新推荐文章于 2025-07-14 16:47:43 发布 · 4.9k 阅读 · 0
文章标签：

#脚本 #dns服务器 #文档 #ftp服务器 #postgresql #solaris

讨论了如何使用awk命令从文本文件中提取每行首次出现的单词。通过实例展示了awk的强大功能。

 原贴:http://bbs.chinaunix.net/thread-1364558-1-1.html

用awk写一个脚本，提取每行第一次出现的单词。


1 2 3 4 ››

首页 » 论坛 » Shell »
  •  
    •  

    [打印] [订阅] [收藏] [本帖文本页] [推荐此主题给朋友，立即获积分]
    jean2e
    侠客




    UID：791776
    注册：2008-12-6
    最后登录： 2009-02-09
    帖子： 13
    精华：0

    可用积分：23 (白手起家)
    信誉积分：0
    专家积分：0 (本版:0)
    空间积分：0
    推广积分：0

    状态： ...在线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    1楼 发表于 2009-2-7 14:27 
    百思不得其解
    111:user:x:1000:(www-data id):(?):(?)
    111:222:user:x:1000:(www-data id):(?):(?)
    111:user:x:1000:(www-data id):(?):(?)



    您对本贴的看法：鲜花[0] 臭蛋[0]
    haimming
    风云使者




    UID：762165
    注册：2008-9-14
    最后登录： 2009-02-09
    帖子： 615
    精华：0

    可用积分：1542 (家境小康)
    信誉积分：0
    专家积分：20 (本版:10)
    空间积分：0
    推广积分：0

    状态： ...离线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    2楼 发表于 2009-2-7 14:36 
    是每行出现的第一个单词吗？上面的例子全是user?



    您对本贴的看法：鲜花[0] 臭蛋[0]
    haimming
    风云使者




    UID：762165
    注册：2008-9-14
    最后登录： 2009-02-09
    帖子： 615
    精华：0

    可用积分：1542 (家境小康)
    信誉积分：0
    专家积分：20 (本版:10)
    空间积分：0
    推广积分：0

    状态： ...离线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    3楼 发表于 2009-2-7 14:43 


    [Copy to clipboard] [ - ]
    CODE:
    sed -r 's/[^a-zA-Z]*([a-zA-Z]*).*//1/' urfile




    您对本贴的看法：鲜花[0] 臭蛋[0]
    ynchnluiti (andy)
    精灵使



    UID：90672
    注册：2003-8-29
    最后登录： 2009-02-09
    帖子： 3315
    精华：0

    可用积分：12986 (大富大贵)
    信誉积分：100
    专家积分：560 (本版:190)
    空间积分：0
    推广积分：1282

    状态： ...在线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    4楼 发表于 2009-2-7 16:19 
    是不是每行可能包含多个单词，每个单词可能重复出现



    您对本贴的看法：鲜花[0] 臭蛋[0]

    __________________________________

    天行健，君子以自强不息
    发奋忘食，乐以忘优，不知老之将至
    温故而知新
    jean2e
    侠客




    UID：791776
    注册：2008-12-6
    最后登录： 2009-02-09
    帖子： 13
    精华：0

    可用积分：23 (白手起家)
    信誉积分：0
    专家积分：0 (本版:0)
    空间积分：0
    推广积分：0

    状态： ...在线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    5楼 发表于 2009-2-7 16:28 


    QUOTE:
    原帖由 ynchnluiti 于 2009-2-7 16:19 发表
    是不是每行可能包含多个单词，每个单词可能重复出现

    是的！



    您对本贴的看法：鲜花[0] 臭蛋[0]
    jean2e
    侠客




    UID：791776
    注册：2008-12-6
    最后登录： 2009-02-09
    帖子： 13
    精华：0

    可用积分：23 (白手起家)
    信誉积分：0
    专家积分：0 (本版:0)
    空间积分：0
    推广积分：0

    状态： ...在线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    6楼 发表于 2009-2-7 16:30 


    QUOTE:
    原帖由 haimming 于 2009-2-7 14:43 发表

    sed -r 's/[^a-zA-Z]*([a-zA-Z]*).*//1/' urfile

    谢了。我主要想知道用awk解决的方法:mrgreen:



    您对本贴的看法：鲜花[0] 臭蛋[0]
    我是DBA   帅哥 (我在学习，我要进步)
    大天使
    打破水锅问到底。



    UID：713644
    注册：2008-6-3
    最后登录： 2009-02-09
    帖子： 2447
    精华：0

    可用积分：7481 (富足长乐)
    信誉积分：10
    专家积分：25 (本版:25)
    空间积分：808
    推广积分：30

    状态： ...在线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    7楼 发表于 2009-2-7 20:53 


    [Copy to clipboard] [ - ]
    CODE:
    awk -F'[^a-zA-Z]+' '{print $2}' 　ufile

    [test@erpdataserver ~]$ cat 1
    111:user:x:1000:(www-data id):(?):(?)
    111:222:user:x:1000:(www-data id):(?):(?)
    111:user:x:1000:(www-data id):(?):(?)
    [test@erpdataserver ~]$ awk -F'[^a-zA-Z]+' '{print $2}' 1
    user
    user
    user



    您对本贴的看法：鲜花[0] 臭蛋[0]

    __________________________________

    要看的书太多了。。
    我是DBA   帅哥 (我在学习，我要进步)
    大天使
    打破水锅问到底。



    UID：713644
    注册：2008-6-3
    最后登录： 2009-02-09
    帖子： 2447
    精华：0

    可用积分：7481 (富足长乐)
    信誉积分：10
    专家积分：25 (本版:25)
    空间积分：808
    推广积分：30

    状态： ...在线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    8楼 发表于 2009-2-7 21:46 
    回复 #7 我是DBA 的帖子

    自己写完才发现awk好强大。



    您对本贴的看法：鲜花[0] 臭蛋[0]

    __________________________________

    要看的书太多了。。
    haimming
    风云使者




    UID：762165
    注册：2008-9-14
    最后登录： 2009-02-09
    帖子： 615
    精华：0

    可用积分：1542 (家境小康)
    信誉积分：0
    专家积分：20 (本版:10)
    空间积分：0
    推广积分：0

    状态： ...离线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    9楼 发表于 2009-2-7 21:55 
    回复 #8 我是DBA 的帖子

    看了你们的例子，有同感
    学好了sed我就学awk！



    您对本贴的看法：鲜花[0] 臭蛋[0]
    版主 kns1024wh   帅哥 (flaging)
    广告杀手－法师



    UID：264250
    注册：2005-5-8
    最后登录： 2009-02-09
    帖子： 5358
    精华： 1

    可用积分：19901 (大富大贵)
    信誉积分：100
    专家积分：105 (本版:0)
    空间积分：0
    推广积分：630

    来自：XA-BJ-SZ
    状态： ...离线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    10楼 发表于 2009-2-7 22:00 
    回复 #8 我是DBA 的帖子

    很过功能都可以是实现的

    Shell脚本文本三剑客之AWK
    m0_51160032的博客
    10-28 4490
    一、AWK工具介绍 AWK 是一种处理文本文件的语言，是一个强大的文本分析工具 可以在无交互的模式下实现复杂的文本操作 相较于sed常作用于一整个行的处理，awk则比较倾向于一行当中分成数个字段来处理，因为awk相当适合小型的文本数据。 1.1AWK命令的基本格式 awk [选项] ‘模式条件{操作}’ 文件1 文件2... awk -f|-v 脚本文件 文件1 文件..... 1.2AWK工作原理 前面提到sed命令常用于一整行的处理,而awk比较倾向于将
    awk 获取第一个单词_您的第一个使用后退模型的自然语言处理项目单词预测器...
    weixin_26750481的博客
    09-29 987
    awk 获取第一个单词A gentle introduction to NLP NLP入门 Last week, I finished the entire Data Science Specialization from Johns Hopkins University on Coursera, and in this article, I want to talk a little bit ...
    awk命令的使用======使用脚本,获取一个文件每一行的第n(2,3)个元素(使用你使用过的任何脚本)
    陆山右的技术博客
    11-17 3004
    awk  '{print $2}'  /home/thomas/china.txt 使用vim编辑china里边的内容 执行awk命令: awk  '{print $2}'  /home/thomas/china.txt   成功了 ============================================== "英文的可以,中文的好像有点问题." banan...
    awk 命令 只处理第一个匹配的行和只处理指定行
    boazheng的博客
    02-16 4438
    AWK技巧： 1、awk只处理第一个匹配的行，匹配后使用exit命令退出处理： awk '/version/{print $1;exit;}' input.txt 处理3个匹配行后结束处理： awk '/aa/{i++;if(i<3){print $0}else{exit;}}' a 2、只处理指定的行。NR表示输入文件的行号 awk 'NR==1,NR==5{print $0}' file ———————————————— 版权声明：本文为优快云博主「hongweigg」的原创文章，遵
    linux字符串第一个字母排序,如何用shell脚本实现单词及字母去重排序？
    weixin_42468580的博客
    04-30 930
    在linux中处理文件的命令有sed、awk、grep、tr等，而对于去重复排序的命令有sort、uniq等，在处理文件时首先要考虑的是文本的结构是否存在规律。问题中是需要对单词及字母进行排序，这里需要考虑的问题是单词中是否存在大写字母？单词是否和标点符号连接？如果需要统计排序的是字符串，我们可以使用下面的命令。[root@api ~]# echo ${str,,}|sed 's/[^a-z]/ ...
    awk之取每天的第一条记录和最后一条记录
    系统运维
    11-24 1144
    文本: 2011-10-25 8:41:20 2011-10-25 8:41:38 2011-10-25 18:10:09 2011-10-26 8:29:05 2011-10-26 18:07:27 2011-10-27 8:35:41 2011-10-27 18:51:18 2011-10-28 8:38:00 2011-10-28 18:08:01 2011-10-29
    linux里面写一个脚本，把一个只有一行一列的文件内容进行相同内容的统计
    04-19
    首先，用户提到的“单列文件”应该是指文件中每行只有一个数据项，比如每行一个单词或一个数字。统计相同内容的出现次数，其实就是统计每个唯一行出现的次数。 根据用户提供的引用[1]中的例子，他们之前用awk统计了...
    18、Awk脚本编写入门指南
    rl6adventurer的博客
    07-14 100
    本博客是一篇关于Awk脚本编写的入门指南，介绍了Awk语言的基本概念、编程模型、模式匹配、字段处理以及表达式的使用等内容。通过示例和实践，帮助读者快速掌握Awk脚本编写技巧，并能够应用于数据处理和信息检索等任务。
    帮我写一行脚本过滤掉CPU占比0的线程信息
    09-25
    但是，注意top输出的第一行（系统概览）可能包含"Mem:"，我们不需要担心，因为我们的awk脚本只匹配以"PID"作为第一个字段且第二个字段是"PPID"的行作为标题行，然后开启标志。 另外，可能的数据行中，有些行可能...
    用repair table语句写一个定期修复表名为t_historywarn的数据表，定期时间为每天3点的脚本
    最新发布
    10-31
    # 或者，我们直接判断每行的最后一个字段？因为OK总是在最后？不一定，因为Msg_text可能有多个单词。 # 因此，更可靠的方法是：使用awk按制表符分割（因为-s输出是制表符分隔？），然后取第4个字段（列） # 但是...
    编写一函数 用户输入字符串 函数将获取第一个单词输出 并丢掉后面的字符（图）
    尽心篇
    06-04 1095
    #include "stdAfx.h" #include "ctype.h" #include "stdlib.h" #include "string.h" int main(int argc,char * argv[]) { void name(char a[]); char ch[51],aame[51]; name(ch); puts(ch); system("pause")
    Linux命令之awk
    The Big Data的博客
    04-28 532
    awk命令常用工具命令 awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk有很多内建的功能，比如数组、函数等，这是它和C语言的相同之处，灵活性是awk最大的优势。
    awk 练习
    风雪小筑
    02-24 995
    原出处：http://hi.baidu.com/pmghong/item/95f48d203c61572543634a62 http://hi.baidu.com/pmghong/item/344f9b038e81ebbfa2df4362 使用awk对/etc/passwd的数据进行处理： 1、 编写一个 awk 脚本，功能是打印所有输入行。 [root@student04 ~]#
    Linux awk用法
    zjp的博客
    03-16 1145
    输出第一个单词首字母顺序>m的单词，否则输出----基本语法 awk -F '分隔符' ‘过滤条件 {操作}’ 文件名 准备demo.txt内容如下 root:x:0:0:root:/root:/usr/bin/zsh daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin bin:x:2:2:bin:/bin:/usr/sbin/nologin sys:x:3:3:sys:/dev:/usr/sbin/nologin sync:x:4:65
    shell变量及字符串截取
    qq_47148037的博客
    04-17 912
    **#!/bin/bash #解释器 #ifconfig #shell 变量 #name="huazai007" #echo $name #变量命名规范： 1: 首字母不能出现数字 ：8name="aaa" x 2: 变量名中间不能有空格，可以用下划线（_）n_name="huazai007" 3: 变量名中间不能出现标点符号 #只读变量 readonly 删除变量 unset （对只读变量无...
    awk、grep、sed正则表达式
    Alex
    05-13 519
    原文链接找不到了，如有冒犯请及时联系我 awk用法 head -n2 test.txt|awk -F ':' '{print $1}' #以冒号为分隔符，打印第一段 head -n2 test.txt|awk -F ':' '{print $0}' #以冒号为分隔符，打印整行 awk -F ':' '{print $1"#"$2"#"$3"#"$4}' #以冒号为分隔符，打印第1、2、3、4段，中间以井号间隔 awk '/oo/' test.txt #打印包含oo的行 awk -F ':' '$1 ~/.
    [转]Awk学习笔记
    heiyeluren的blog（黑夜路人的开源世界）
    02-21 3016
    Awk学习笔记整理：Jims of 肥肥世家jims.yang@gmail.com>Copyright © 2004 本文遵从GPL协议，欢迎转载、修改、散布。第一次发布时间:2004年8月6日Table of Contents1. awk简介 2. awk命令格式和选项 2.1. awk的
    linux命令取字符串行的第一行,Linux字符截取命令-cut
    weixin_34430334的博客
    04-30 4025
    Linux字符截取命令-cut 做者 | WenasWeihtml一 Linux之cut命令详解将每一个文件中选定的行部分打印到标准输出, 若是没有文件，或者文件是-，则读取标准输入,长选项的强制参数对于短选项也是强制的。nodecut 是一个选取命令,通常来讲，选取信息一般是针对“行”来进行分析的，并非整篇信息分析的,用于显示每行从开头算起 num1 到 num2 的文字。linux1.1 使用...
    Linux awk 只处理第一个匹配的行与只处理指定行
    热门推荐
    hongweigg的专栏
    09-08 1万+
    AWK技巧： 1、awk只处理第一个匹配的行，匹配后使用exit命令退出处理： awk '/version/{print $1;exit;}' input.txt 处理3个匹配行后结束处理： awk '/aa/{i++;if(i 2、只处理指定的行。NR表示输入文件的行号 awk 'NR==1,NR==5{print $0}' file 参考： 1、awk如
    评论
    成就一亿技术人!
    拼手气红包6.0元
    还能输入1000个字符
     
    红包 添加红包
    表情包 插入表情
    表情包 代码片
     条评论被折叠 查看
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值