AWK多文件的处理的方式

最新推荐文章于 2025-05-13 13:43:14 发布
最新推荐文章于 2025-05-13 13:43:14 发布
阅读量1.4w 收藏 3
点赞数 4
CC 4.0 BY-SA版权
分类专栏： liunx 文章标签： file 正则表达式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wqq_721/article/details/7639723

直接多文件逐个处理，操作相同：

1、直接输入多个文件名：

> awk 'BEGIN{FS="|";OFS="|";print "GSM|BALANCE"}{if($13==20120530)print $1,$9}' 
Subscriber_20120530.list Subscriber_20120531.list

2、根据正则表达式匹配多个文件：

> awk 'BEGIN{FS="|";OFS="|";print "GSM|BALANCE"}{if($13==20120530)print $1,$9}' 
Subscriber_2012053*.list


对不同文件，执行不同操作：

1、只有两个文件时：（1.NR：已读总记录数     FNR：已读当前文件记录数   2.next：如果结束就执行下一个输入文件）

      1）、格式：awk 'NR==FNR{...}NR>FNR{...}'  file1 file2   或 awk 'NR==FNR{...}NR!=FNR{...}' file1 file2

> awk -F\| '{if($13==20120530){a[$1]=$1}}NR>FNR{if(a[$1]==$1)print $1,$9}'
Subscriber_20120531.list Subscriber_20120530.list
> awk -F\| '{if($13==20120530){a[$1]=$1}}NR!＝FNR{if(a[$1]==$1)print $1,$9}' 
Subscriber_20120531.list Subscriber_20120530.list








      2）、格式：awk 'NR==FNR{...;next}{...}' file1 file2


> awk -F\| 'NR==FNR{if($13==20120530){a[$1]=$1}next}{if(a[$1]==$1)print $1,$9}' 
Subscriber_20120531.list Subscriber_20120530.list



2、多于两个文件时：（1.ARGIND：当前被处理参数标志      2.ARGV ：命令行参数数组      3.把文件名直接加入判断）


      1）、格式：awk 'ARGIND==1{...}ARGIND==2{...}ARGIND==3{...}... ' file1 file2 file3 ...




> awk 'BEGIN{FS="|";OFS="|";print "GSM|BALANCE"}
ARGIND==1{if($13==20120530){a[$1]=$1}}
ARGIND==2{if(a[$1]==$1 && $9>0)print $1,$9}
ARGIND==3{if(a[$1]==$1 && $9>0)print $1,$9}' 
Subscriber_20120531.list Subscriber_20120530.list Subscriber_20120529.list







      2）、格式：awk 'FILENAME==ARGV[1]{...}FILENAME==ARGV[2]{...}FILENAME==ARGV[3]{...}...' file1 file2 file3 ...




> awk 'BEGIN{FS="|";OFS="|";print "GSM|BALANCE"}
FILENAME==ARGV[1]{if($13==20120530){a[$1]=$1}}
FILENAME==ARGV[2]{if(a[$1]==$1 && $9>0)print $1,$9}
FILENAME==ARGV[3]{if(a[$1]==$1 && $9>0)print $1,$9}' 
Subscriber_20120531.list Subscriber_20120530.list Subscriber_20120529.list


 


     3）、格式：awk 'FILENAME=="file1"{...}FILENAME=="file2"{...}FILENAME=="file3"{...}...' file1 file2 file3 ...




> awk 'BEGIN{FS="|";OFS="|";print "GSM|BALANCE"}
FILENAME=="Subscriber_20120531.list"{if($13==20120530){a[$1]=$1}}
FILENAME=="Subscriber_20120530.list"{if(a[$1]==$1 && $9>0)print $1,$9}
FILENAME=="Subscriber_20120529.list"{if(a[$1]==$1 && $9>0)print $1,$9}' 
Subscriber_20120531.list Subscriber_20120530.list Subscriber_20120529.list







对于多个文件处理时，只有第一个文件处理方式不同，后面多个（未知个数）文件处理方式一致，如何精简后面部分重复代码，有高手知道请指点下，呵






> awk 'BEGIN{FS="|";OFS="|";print "GSM|BALANCE"}
FILENAME==ARGV[1]{if($13==20120530){a[$1]=$1}}
FILENAME==ARGV[2]{if(a[$1]==$1 && $9>0)print $1,$9}
FILENAME==ARGV[3]{if(a[$1]==$1 && $9>0)print $1,$9}
FILENAME==ARGV[4]{if(a[$1]==$1 && $9>0)print $1,$9}
FILENAME==ARGV[5]{if(a[$1]==$1 && $9>0)print $1,$9}
......' 
Subscriber_20120531.list Subscriber_20120530.list 
Subscriber_20120529.list Subscriber_20120528.list 
Subscriber_20120527.list ......





                

        

    

    
  



    



                



	

		

			

				
					
AWK脚本处理多字段文件的技巧

				
			

			

				

					m0_62153576的博客
				

				

					06-22
					
					128
					
				

			

		

		

			
				
摘要：本文介绍了使用AWK提取文本文件中特定字段的方法，特别是保留第三列及后续内容。通过示例文件展示了如何用GNU AWK和POSIX AWK的正则表达式跳过前两列，同时保持原有空格格式。文章还说明了该方法的可扩展性，并举例应用于日志文件处理，提取事件详情。AWK的灵活性和强大功能使其成为处理文本数据的高效工具，掌握其基本用法能显著提升工作效率。（148字）

			
		

	



                

            
              



	

		

			

				
					
使用awk处理2个文件

				
			

			

				

					gls_liujia的专栏
				

				

					09-15
					
					1852
					
				

			

		

		

			
				
awk中一行是一个记录，awk用$0表示整个行，$1,$2,$3顺序的表示记录的字段，使用-F来指定输入分隔符。输出结构和控制结构类似于C语言。
 
awk中的内置变量：





FS


输入字段分隔符     （－F）




OFS

			
		

	



              


  
              

                


	

		

			

				
					
awk多文件的处理

				
			

			

				

					weixin_33936401的博客
				

				

					10-02
					
					130
					
				

			

		

		

			
				
一、关于awk的多文件处理：awk的数据输入有两个来源，标准输入和文件，后一种方式支持多个文件，如1、shell的Pathname Expansion方式：awk '{...}'*.txt  
#*.txt先被shell解释，替换成当前目录下的所有*.txt，如当前目录有1.txt和2.txt，则命令最终为awk '{...}' 
1.txt 2.txt2...

			
		

	





	

		

			

				
					
Linux工作台文件操作命令全流程解析(高级篇之awk精讲)

					
最新发布

				
			

			

				

					慢跑的蜗牛！
				

				

					05-13
					
					988
					
				

			

		

		

			
				
本文详细介绍了文本处理工具 awk 的核心功能和使用方法。其核心优势包括列式数据处理、数学运算、复杂条件过滤、数据格式化输出和关联数组处理。文章详细解析了 awk 的命令格式，包括选项、模式、动作和输入文件的组成部分，并提供了多个常用示例，如打印特定列、统计行数、条件过滤、变量传递和计算均值等。此外，还介绍了 awk 的编程特性，如 print 和 printf 函数、变量和赋值、条件语句、循环语句和数组的使用。通过本文，读者可以掌握 awk 的基本和高级用法，提升文本处理效率。

			
		

	



		

			
		



	

		

			

				
					
awk处理文件

				
			

			

				

					qining的专栏
				

				

					02-13
					
					635
					
				

			

		

		

			
				
1.打印第一列和第三列(默认采用空白字符分割)

awk '{print $1, $3}' aaa
2.打印第一列和第三列(指定分隔符)

awk -F"," '{print $1, $3}' aaa

awk 'BEGIN{FS=","} {print $1, $3}' aaa

			
		

	





	

		

			

				
					
awk 处理文件

				
			

			

				

					xjc864588399的博客
				

				

					12-30
					
					347
					
				

			

		

		

			
				
对于两个文件里面想要替换相同的部分，比如下面这样的数据image65799.jpg 1319 415 226 226 0.0180500804059 0.0378295384235 0.125465979668
image18970.jpg 2830 199 446 446 -0.059376889549 -0.0575361034772 0.122458587863


awk '{a[$1]}

			
		

	





	

		

			

				
					
awk 多文件操作2种实现方法

				
			

			

				

					weixin_30577801的博客
				

				

					10-15
					
					236
					
				

			

		

		

			
				
我们经常会将2个有关联文本文件进行合并处理。分别从不同文件获取需要的列，然后，整体输出到一起。awk进行多文件处理时候，常常会遇到2个方面问题，第一个是怎么样合并多个文件为一个文件。第二个问题就是怎么样将多行合并为一行显示。我这里说下我的处理2种方法，还有实现思路。   实例文本：[chengmo@centos5 shell]$ awk 'FNR==1{print "\r\n"FILENAME}...

			
		

	





	

		

			

				
					
sed或awk处理文件最后一行的实现方法

				
			

			

				

					01-11
				

			

		

		

			
				
要求处理后如下所示：abcd 1234 fds2011 550total1:1023 total2:832er 12end 判断如果是文本最后一行则在第一列前面加total1:,第二列加total2:, 第三列后面减掉后面两个字符并加end。 分别用sed与awk来实现。sed： ...

			
		

	





	

		

			

				
					
深入解析AWK内置变量：提升文件处理与数据清洗效率的技术指南

				
			

			

				

					02-12
				

			

		

		

			
				
AWK广泛应用于日志分析、数据处理和报告生成等领域，内置变量则是提高文件处理效率和数据清洗效果的关键技术之一。  AWK内置变量主要分为以下几类：  1. 当前行内容和字段相关变量 - $0代表当前处理的整行内容。 - $...

			
		

	





	

		

			

				
					
linuxawk将多个文件结果列合并到一个文件整理.pdf

				
			

			

				

					12-06
				

			

		

		

			
				
awk 是一种功能强大的文本处理工具，可以用来处理和操作文本文件。下面是一个使用 awk 将多个文件结果列合并到一个文件的示例脚本：  test.awk: ```awk #!/usr/bin/awk -f BEGIN {  for (t = 1; t ; t++) {  Index[t...

			
		

	





	

		

			

				
					
shell脚本--awk数组处理多个文件

				
			

			

				

					Andy_Hanna的专栏
				

				

					11-20
					
					520
					
				

			

		

		

			
				
awk是可以同时处理多个文件的，一般会用到变量NR和FNR，NR会顺序记录所有文件的行（放在一起往后面数），FNR是单独记录每个文件的行。

测试文件：


[root@172-0-10-222 myscripts]# cat testfile
贾乃亮 谢娜 
王宝强 林心如
邓超 杨幂
[root@172-0-10-222 myscripts]# cat testfile2
张杰 李小璐
霍建华...

			
		

	





	

		

			

				
					
awk处理两个文件的方法

				
			

			

				

					04-06
				

			

		

		

			
				
用awk处理两个文件的方法：特定域的合并、替换等

			
		

	





	

		

			

				
					
AWK文件处理总结

				
			

			

				

					10-27
				

			

		

		

			
				
awk文本的处理awk文本的处理awk文本的处理awk文本的处理awk文本的处理awk文本的处理awk文本的处理awk文本的处理awk文本的处理awk文本的处理awk文本的处理awk文本的处理awk文本的处理awk文本的处理awk文本的处理

			
		

	





	

		

			

				
					
用awk数组处理两个文件

				
			

			

				

					12-05
				

			

		

		

			
				
主要讲解了关于shell中用awk数组处理文件的用法

			
		

	





	

		

			

				
					
awk 处理数据文件

				
			

			

				

					weixin_41565755的博客
				

				

					11-09
					
					368
					
				

			

		

		

			
				
一、数据处理

1、程序


BEGIN {
	k = 0;
} 
{ 
	time[k] = $1;
	energy[k] = $2;
	energy[k] = 200 - energy[k];
	k++;
} 
END{
	for (i=0; i<k; i++) {
		printf("%f %f\n", time[k], energy[k]);
	}
}


2、命令


awk -f...

			
		

	





	

		

			

				
					
awk文件处理

				
			

			

				

					m0_59659635的博客
				

				

					09-21
					
					1168
					
				

			

		

		

			
				
目录

一、awk 编辑器

1.工作原理

2.命令格式

3.awk 常见的内建变量

二、实例

1.按行输出文本

2.按字段输出文本

3.通过管道符号、双引号调用shell 命令

一、awk 编辑器

在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具
	能够逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理
	还可以在无交互的情况下实现相当复杂的文本操作
	被广泛应用于 Shell 脚本中，完成各种自动化配置任务
1.工作原理

逐行读

			
		

	





	

		

			

				
					
awk如何处理2个文件

				
			

			

				

					纯，属虚构
				

				

					04-13
					
					5501
					
				

			

		

		

			
				
处理两个文件时，形式如下：
awk 'BEGIN{} {} END{}' file1 file2
 
那么如何判断处理的是哪个文件呢？答案是用NR变量和FNR变量。NR变量随着读取的行数从1递增，FNR也递增，但是，遇到新文件时又回到1。所以，如果NR==FNR，就说明是第一个文件，如果NR！=FNR，就说明是第二个文件。
 
【1】NR与FNR的区别。
文件1：
us.txt
s

			
		

	





	

		

			

				
					
Linux文本处理工具 AWK

				
			

			

				

					海阔天空
				

				

					05-17
					
					1149
					
				

			

		

		

			
				
一：AWK介绍AWK工作原理:主要功能是实现报告生成器，格式化文档，经常用于处理各种文档 自带循环自动读入一行进行处理，行可以自己指定，行的分隔符不一定是回车，每次读入文件的一行，开启一个awk内存空间，多行处理，可以根据分割符切割成字段先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域,...

			
		

	





	

		

			

				
					
awk 处理文件收集

				
			

			

				

					写代码的小孩
				

				

					12-22
					
					1507
					
				

			

		

		

			
				
#cat account
张三|000001
李四|000002
#cat cdr
000001|10
000001|20
000002|30
000002|15

想要得到的结果是将用户名，帐号和金额在同一行打印出来,如下:

张三|000001|10
张三|000001|20
李四|000002|30
李四|000002|15

[root@Git bash]#

			
		

	





	

		

			

				
					
使用awk批量处理文件

				
			

			

				

					03-02
				

			

		

		

			
				
### 如何使用 `awk` 进行批量文件处理

#### 使用 `awk` 处理多个文件

当需要对多个文件执行相同的操作时，可以利用 `awk` 的强大功能来简化这一过程。通过指定多个输入文件名作为参数传递给 `awk` 命令，可以在一次调用中完成多文件的数据解析与转换工作。

对于简单的批处理操作，可以直接在命令行上罗列待处理的文件列表：

```bash
awk '{print $1}' file1.txt file2.txt file3.txt
```

上述指令会依次读取每个文件的内容，并打印每一行的第一个字段[^1]。

#### 结合通配符实现更灵活的匹配

如果目标目录下存在大量具有相似命名模式的日志或数据记录文档，则可以通过引入路径表达式的概念进一步优化脚本设计。具体来说就是运用星号(*)或其他形式的正则字符集合作为占位符代表某一类特定类型的文件集合。

例如要统计某日志目录里所有 `.log` 后缀结尾文本中的错误条目数量:

```bash
awk '/ERROR/ {count++} END{print count}' *.log
```

这里不仅实现了跨文件的信息汇总计算，还展示了条件筛选以及最终结果输出的能力[^2]。

#### 利用循环结构自动化任务流程

为了使解决方案更加通用化，在某些场景可能涉及到动态获取待处理对象的情况。此时借助于 shell 脚本所提供的控制语句能够有效提升程序逻辑构建上的灵活性。

下面给出一段完整的例子用于说明如何遍历当前文件夹下的所有纯文本文件并提取其中第二列数值求平均值的过程：

```bash
#!/bin/bash
total=0
file_count=0

for filename in $(find . -name "*.txt"); do
    ((file_count++))
    sum=$(awk '{sum += $2} END {print sum}' "$filename")
    total=$((total + sum))
done

average=$((total / file_count))

echo "Average value across all txt files is: ${average}"
```

此段代码片段首先定义了一个外部变量存储累加后的总和；接着采用 find 工具定位符合条件的目标资源；最后再配合内部 AWK 表达式完成核心运算部分的工作流描述[^3]。

#### 实现复杂业务需求

面对更为复杂的实际应用案例时，还可以考虑将更多高级特性融入到基于AWK的语言环境中去解决问题。比如关联数组的应用可以帮助我们轻松应对涉及分组聚合的需求；而自定义函数机制则允许封装重复使用的算法单元以便提高维护效率等等。

综上所述，掌握了这些技巧之后便足以胜任大多数日常工作中遇到的大规模文本型数据预处理挑战了。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值