awk中输出到多个文件及使用Shell中传入的参数

最新推荐文章于 2025-11-12 13:45:00 发布

原创最新推荐文章于 2025-11-12 13:45:00 发布 · 1w 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#shell #file

本文介绍如何使用awk处理包含不同列数的数据行，并将其分别输出到不同的文件中。通过两个示例展示了如何根据列数将数据重定向到指定文件，适用于数据预处理或日志分析等场景。

问题：

原文件0：

1 1 1

2 2 2 2

1 1 1

2 2 2 2

目标：将列数不同的行分别输出到不同的文件中，该例为：

输出文件1：

1 1 1

输出文件2：

2 2 2 2

1、awk中输出到多个文件

AWK源代码： awk '{ if(NF==3)print $0 > 1;else print $0 > 2 }' 0

2、使用Shell中传入的参数

问题同1

AWK源代码： dir=/home/niewf awk 'BEGIN{file1="'$dir'/1";file2="'$dir'/2"}{if(NF==3)print $0 > file1;else print $0 > file2}' $dir/2

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

nwf5d

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

如何组合使用 awk/xargs 来读取文本的多个字段，作为命令参数执行命令

千里之行

06-08

2715

场景：文本文件中每一行的内容为一个 Key/Value，读取文本文件中的每一行，把 key/value 值导入到 Redis 中。可以应用于 Redis 缓存数据的初始化。

【Shell牛客刷题系列】SHELL15 去掉不需要的单词：总结awk命令中的内置函数

一起加油~

10-17

590

本文首先总结了awk命令中的各个内置函数的用法；然后给出了五种题目的解决方法，需要使用到之前学习到的正则表达式。

1 条评论您还未登录，请先登录后发表或查看评论

awk 输出到不同文件

MyDriverC

06-13

2578

输入文件 # cat 1.txt 1 1 2 2 2 2 3 3 4 4 5 5 6 6 5 5 5 5 5 5 awk 文件: test.sh #/bin/bash filename=$1 echo $filename #BEGIN{file1=a;file2=b;file3=c} file1=a file2=b file3=c if [

awk 将结果输出到不同文件

热门推荐

dai451954706的专栏

04-25

1万+

转载▼输入文件 # cat 1.txt 1 1 2 2 2 2 3 3 4 4 5 5 6 6 5 5 5 5 5 5 awk 文件: test.sh #/bin/bash filename=$1 echo $filename #BEGIN{file1=a;file2=b;file3=c} file1=a file2=b file3=c

awk 输出到多个文件多路输出

bitcarmanlee的博客

06-24

5864

awk中经常需要根据不同条件，将内容输出到不同文件中。写了个简单的awk小脚本，可以满足这个需求。#!/bin/awk -f{ if(NR==FNR) {a[$0]++} else {if($1 in a) print $0 >> "user_agence" else print $0

awk学习笔记(3) - 输出文件的列

weixin_33858485的博客

10-20

258

输出文件中的指定列 awk'{print$2}'arr.dat $0是完整的行，$1就是第一列，$2就是第二列，以此类推。提出一个问题，如果列号不存在会怎么样？试一下: awk'{print$20}'arr.dat 会发现输出了一串的空白。如果要取出多列，只需要用逗号分隔多个列号就可以了。 awk'{print$2,$1}'arr.dat ...

格式化输出多个文件的关键信息——awk实现

qq_43210342的博客

07-18

561

格式化输出

linux Shell脚本里面把一个数组传递到awk内部进行处理

09-15

首先，我们知道在Shell中将一个普通变量传递给awk非常简单，只需要使用`-v`参数赋值即可。例如： ```bash str1="Hello World" awk -v str2="$str1" 'BEGIN{print str2}' ``` 然而，数组的传递就相对复杂。下面介绍...

精选资源

linux shell awk获得外部变量（变量传值）简介

01-10

这次主要说下，怎么样把外部变量传入到awk执行语句中。一、基础： awk [ -F re] [parameter…] [‘pattern {action}’ ] [-f progfile][in_file…] awk一般语法如上面所说。如：代码如下:[chengmo@

12、Awk编程中的特殊文件、输入输出处理及表达式解析

最新发布

spark7igniter的博客

11-12

本文深入探讨了Awk编程中的核心概念，包括标准预打开数据流的特殊文件（如/dev/stdin、/dev/stdout和/dev/stderr）及其在gawk中的扩展应用，详细解析了输入输出重定向与close()函数的使用方法及注意事项。同时全面介绍了Awk表达式的基础构成、类型分类、运算优先级以及在模式和动作中的实际应用，并涵盖了错误处理与性能优化策略，帮助读者构建高效、健壮的Awk程序。

linux awk输出到文件内容,使用awk格式化输出文本

weixin_35537635的博客

05-06

4093

注意：本文并不是一篇awk入门文章，而是偏重实例讲解awk借鉴了c语法，因此awk在许多地方还保留有C语言的痕迹，比如printf语句；for，if的语法结构等介绍最简单地说，AWK 是一种用于处理文本的编程语言工具，处理模式是只要在输入数据中有模式匹配，就执行一系列指令。awk命令格式为：awk {pattern + action} {filenames}awk可以读取后接的文件，也可以读取来自...

shell 向 awk 传递变量参数

u012868405的博客

12-04

5300

本文翻译自StackOverflow提问—— “How do I use shell variables in an awk script?”，但更改了文章段落结构和部分表述。方式1、使用 -v 选项（最好的方式，兼容性最佳）使用-v选项（P.S. 记得在选项和变量名之间加上空格）

shell 输出到文件 &> 和>的区别(重定向)

五月的田野

07-26

5202

&amp;&gt; 和&gt;的区别 &amp;&gt; 等如 2&gt;&amp;1 &gt; 等如 1&gt; 1 是 STDOUT, 2 是 STDERR, 2&gt;&amp;1 就是 STDOUT 和 STDERR

【Linux命令】awk命令

叮当猫的喵i

12-01

1005

以上就是awk的内置变量，如果我们要自定义自己想要的变量，可以通过下面的方式来进行定义： [ root@dev01 yeyz_shell ] # awk -v var='yeyz' 'BEGIN{print var}' yeyz [ root@dev01 yeyz_shell ] # awk 'BEGIN{ var2="yyy";

Shell：多个文件的创建及数据的追加

baidu_22257249的博客

03-04

1689

创建001-100目录，每个目录创建1个文件 #!/bin/sh for i in seq -f %03g 1 100; do echo $i mkdir $i touch i/{i}/i/{i}.txt done

使用awk输出搬移档案

don6105的技术笔记

01-09

503

最近整理备份档案时，需要按照年份分类整理，一些记录笔记供日后参考 … | awk … | xargs -d’\n’ mv -t ./small_images grep -E

Linux awk命令详解

2401_84831748的博客

05-16

1665

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

【Script】AWK命令生成大批量数据并记录到文本文件中

entrypio的专栏

10-29

1093

AWK命令生成大批量数据并记录到文本文件示例： #!/usr/bin/ksh startnum=0 endnum=100 awk ‘BEGIN{ for (j = ‘1’; j &amp;amp;lt;= ‘900000’ ; ++j) { printf “10%08d|9990000006%08d|1000179388|20160311234208|20370101080000|20160311234208|...

关于awk分割文件的用法

chinnrai的专栏

11-05

7264

最近写一个脚本，需要对一个记录文件进行分割，因为记录是很有规律的如下格式的文件test.txt： gameserver1 1 a gameserver1 2 b gameserver1 3 c gameserver2 1 a gameserver2 2 b gameserver2 3 c gameserver3 1 a gameserver3 2 b gameserver3

shell将多个文件数据传入到一个分区表中，值不同

10-10

在shell脚本中，如果你想将多个文件的数据合并并插入到一个分区表中，通常这个过程涉及到两个步骤：读取文件内容和将数据插入数据库。假设这些文件都是文本格式，并且每行代表一条记录，你可以这样做： 1. **读取文件内容**：首先，你需要遍历每个文件，使用`cat`, `while read`, 或者`awk`等工具逐行读取文件的内容。 ```bash for file in files/*.txt; do while IFS=',' read -r field1 field2 ...; do # 这里field1、field2...是变量名，表示文件每一行的数据字段 done < "$file" done ``` 2. **合并数据**：然后，你可以将这些读取到的数据存储在一个临时数组或结构体中，比如数组`data[]`，每个元素包含从所有文件中读取的一行。 3. **插入数据库**：当你有了所有需要的数据，可以使用相应的数据库命令（如SQL）将这些数据插入到分区表。这一步依赖于你的数据库系统，例如在MySQL中可能是这样的： ```sql INSERT INTO partition_table (column1, column2, ...) VALUES ($field1, $field2, ...) ``` 最后，记得替换上述示例中的`files/*.txt`为实际的文件路径列表，`column1, column2, ...`为表格的实际列名，以及`$field1, $field2, ...`为对应的数组元素。