awk 实现listagg ，count 功能

原创于 2025-04-06 20:04:18 发布 · 337 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#linux #运维 #服务器

shell 专栏收录该内容

29 篇文章

订阅专栏

awk命令实现分组统计

测试数据

ABC   a1
ABC   a2
ABC   a3
ABD c1
ABD c2

分组统计

abc a1,a2,a3 3
abd c1,c2

awk 命令

 awk '{arr[$1]=arr[$1] ? arr[$1] "," $2 : $2; count[$1]++} END{for (i in arr) print tolower(i), arr[i], count[i]}'  group_t01.txt

命令解析：

arr[$1]：使用第一列作为键创建数组，存储第四列值的逗号连接形式
count[$1]++：统计每个分组出现的次数
END块遍历所有分组并输出结果

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

愿与狸花过一生

关注关注

11
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

awk 实现sql中group by sum max

Brad_Q1的博客

07-13

707

awk中实现SQL中的group by, sum, max等以及awk常用内置变量NR,FNR,RS等说明

linux shell 分组统计,Shell学习笔记：awk实现group by分组统计功能

weixin_35426913的博客

05-13

3785

日常部分数据以 txt 的文件格式提供，为避免入库之后再进行统计的麻烦，故学习 shell 进行处理，减少工作量。1.样例数据# test.txtYD5Gxxx|6618151|6825449073|6476534190|36251|超级会员|0YD5Gxxx|8968336|1445546463|6476534190|36251|超级会员|0YD5Gxxx|2545939|6904742993|...

参与评论您还未登录，请先登录后发表或查看评论

linux awk命令详解

洛冰翼的专栏

10-16

1025

转自:http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858470.html 简介 awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 awk有3个不同版本: a

常用awk命令（转）

weixin_30740295的博客

05-13

253

awk用法：awk'pattern{action}' 变量名含义 ARGC 命令行变元个数 ARGV 命令行变元数组 FILENAME 当前输入文件名 FNR 当前文件中的记录号 FS 输入域分隔符，默认为一个空格 RS 输入记录分隔符 NF 当前记录里域个数 NR 到目前为止记录数 OFS 输出域分隔符 ORS 输出记录分隔符 1...

awk数组统计

weixin_34403693的博客

08-18

153

awk在脚本的处理中功能是很强大的，现在列出awk最常用的参数例如有这么一个日志，需要统计出ip的访问次数awk '{count[$1]++} END{for (i in count)print i, count[i]}' 1.txt结果如图所示：自己要是还有什么要求排序就可以了转载于:https://blog.51cto.com/lingjing/1685565...

awk统计函数调用次数

dzning123的专栏

06-14

251

统计特定方法的函数调用次数（OsUtils::开头的方法） grep -rsin "OsUtils::" > OsUtil.log awk -F "OsUtils::" 'print $1, $2' OsUtil.log awk -F "OsUtils::" '{print $1; print $2}' OsUtil.log awk -F "OsUtils::" '{if($3) print $3}' OsUtil.log awk -F "OsUtils::" '{if($3) print $0}'

awk用法

colder2008的专栏

10-08

1920

awk用法 通用格式：awk 'pattern {action}' file cmd | awk 'pattern {action}' 如果没有pattern，则对所有行都采用action，如果没有action，则打印匹配行。在pattern中可以使用各种定义的变量$0,,NF,NR等. 工作原理：awk 扫描一行，放入变量$0中，然后行被分隔成各个域，以指定

awk脚本实现wordcount

wenpu_Di

12-02

1741

今天学习了linux下的shell脚本，写了一个小例子wordcount: 1.数据文件$ cat word.txt baidu 100 5000 pukai 100 5000 6000 diwenpu di di di wen wen pu p u2.awk脚本 $ cat ak.awk #!/bin/awk -f # 开始 BEGIN{ } # 运行中 { for(i=1;i<

awk中实现ord函数功能

09-15

然而，awk本身并不内置这个函数，因此在awk中实现ord函数的功能需要自定义方法。本文将详细解释如何在awk中实现ord函数，并提供两种不同的实现方式。首先，我们来看第一种实现方式： ```awk awk 'BEGIN{ for (i ...

awk实现Left、join查询、去除重复值以及局部变量讲解例子

09-15

下面两种方法展示了如何使用 awk 实现这一功能： **方法1：** ```bash awk 'NR==FNR{a[$1]=$2;}NR!=FNR && a[$1]{print $1","a[$1]","$2","$3}' a.txt b.txt ``` 这里，`NR` 表示当前处理的总行数，`FNR` 表示当前...

词频统计(awk)

qq_31198675的博客

05-11

778

写一个 bash 脚本以统计一个文本文件 words.txt 中每个单词出现的频率。为了简单起见，你可以假设： words.txt只包括小写字母和 ' ' 。每个单词只由小写字母组成。单词间由一个或多个空格字符分隔。你也可以假设每行前后没有多余的空格字符。示例：假设words.txt有如下内容： the day is sunny the the the sunny is is 你的脚本应该输出（以词频降序排列）: the 4 is 3 sunny 2 day 1 说明：不要担心词频相同的单词.

使用 awk 命令统计文本

程序员小航

04-20

1318

2022-04-19 11:25:15.008,b4d13bfca8fe4b93a85e65a88520d945,LogScheduler#printLog,10ms,Y,xxxxxxxx 2022-04-19 12:01:15.002,4d10d093dce8491c8ae3c1bff6dbd7c5,LogScheduler#printLog,999ms,N,xxxxx...

awk之行与列的count & sum命令总汇

wvtear的专栏

09-27

2267

文本： 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 1）每行字段数 awk '{print NF}' file 2）最大字段数 awk '{max=max 3）总共字段个数 awk '{x+=NF}END{print x}' file 4）所有字段的总和 awk '{for(i=1;

awk常用统计命令

dujidan的博客

10-13

521

【代码】awk常用统计命令。

运维系列（18）-- AWK统计最大值、最小值、平均值、总和使用实例及入门详解

私人天地

04-18

2001

目录目录 AWK统计实例简介使用方法调用awk 入门实例 awk内置变量 print和printf awk编程条件语句循环语句数组 AWK统计实例 #test.txt文件内容： 0.98008990 0.38389489 0.61610511 0.97206704 0.10028277 0.50441934 0.49558066 0.9743...

Linux命令200例：awk文本处理工具的系统与实战讲述（常用）

黑夜开发者的博客

08-04

697

Linux awk（全称为“Aho, Weinberger, andKernighan”）是一种文本处理工具，用于从输入文件中提取并输出指定的信息。它以行为单位读取文件，并根据用户定义的模式和操作来处理每一行数据。awk命令是一种强大的编程语言，结合了模式匹配、文本处理和数据分析的功能。本文介绍了Linux awk命令的基本概念、使用方法和常见应用场景，并给出了15个实际例子。通过学习和掌握awk命令的用法，可以提高文本处理和数据分析的效率，实现各种自动化任务。

awk命令详解

This My Life - chisj

01-29

940

目录(?)[+] 转载：http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858470.html 简介 awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析

Linux Shell常用技巧(五)

weixin_34332905的博客

12-06

192

十一. awk编程: 1. 变量：在awk中变量无须定义即可使用，变量在赋值时即已经完成了定义。变量的类型可以是数字、字符串。根据使用的不同，未初始化变量的值为0或空白字符串" "，这主要取决于变量应用的上下文。下面为变量的赋值负号列表：符号含义等价形式 = a ...

在liunx环境，查询Oracle数据，并将结果赋值给一个变量，将变量值输出到文本，结果文本里面只有一行，怎么将一行变成多行？

最新发布

03-08

<think>好的，我现在需要解决用户的问题：在Linux环境下使用Oracle数据库查询，将结果处理后输出到文件，并且将单行结果显示为多行。首先，我得理清用户的需求和现有技术点。用户提到的几个关键点：Linux环境、Oracle查询、结果赋值给变量、输出到文件、单行转多行。根据用户提供的引用内容，尤其是引用[1]和[3]，我需要考虑如何在Shell脚本中执行SQL查询并获取结果赋值给变量。引用[1]提到在Oracle存储过程中不能用SELECT INTO多变量，但在Shell脚本中可能不同。引用[3]展示了如何通过sqlplus执行查询并将结果赋值给变量，这可能是一个关键点。首先，我需要确定如何将查询结果赋值给变量。用户提到的是单行结果转为多行输出，可能是指查询结果的一个字段包含多个值，需要用分隔符分开后拆分成多行。例如，一个字段存储了用逗号分隔的数据，需要拆分成多行。接下来，步骤可能是这样的：在Shell脚本中使用sqlplus连接到Oracle数据库，执行查询，将结果保存到变量中。然后处理这个变量，将单行数据拆分成多行，最后输出到文件。根据引用[3]中的示例，用户使用了sqlplus的-S选项来静默模式，并将结果赋值给变量mdb_count。这应该可以用于获取单行结果。但如果是多列，可能需要调整SELECT语句，或者使用其他方法处理。对于单行转多行，可能需要使用Linux的文本处理工具，如awk、sed或者tr。例如，如果结果中的某个字段是用逗号分隔的，可以用tr将逗号替换为换行符，或者用awk分割字段。另外，用户可能希望将多个列的值分别处理，或者某个列的值拆分成多行。例如，如果查询返回一个包含多个值的字符串，可以用字符串处理拆分成多行。现在需要考虑具体的例子。比如，假设查询结果是一个列，其值是用分号分隔的字符串，如"A;B;C"，需要拆分成三行A、B、C。这时候可以使用tr替换分号为换行符，或者用awk的split函数。还需要处理输出到文件的部分，可能使用重定向或者tee命令。可能的步骤： 1. 编写SQL查询脚本，确保输出为单行，可能用拼接字段的方式，或者使用Oracle的字符串函数，如LISTAGG将多行合并成一个字符串，但这样可能需要先合并再拆分，不过用户需求是单行转多行，所以可能原始数据已经是合并的字符串，需要拆分。 2. 在Shell脚本中执行sqlplus，捕获结果到变量。 3. 处理变量，拆分字符串为多行。 4. 输出到文件。需要注意的问题： - sqlplus的输出可能包含不必要的头部或尾部信息，需要使用SET选项关闭这些，如SET HEADING OFF、SET FEEDBACK OFF等，确保结果干净。 - 处理多列的情况，可能需要将多个列合并处理，或者分别处理每个列。 - 错误处理，比如查询无结果或连接失败的情况。例如，用户可能想查询某个表的某个字段，该字段存储了多个值，用特定分隔符分隔，然后拆分成多行输出到文件。例如，查询员工表中的部门成员，每个部门的成员存储为一个逗号分隔的字符串，现在需要每个成员单独一行。具体实现步骤可能如下： 1. SQL查询获取需要的字段，例如： SELECT department_name, member_list FROM departments WHERE department_id = 123; 这里假设member_list是逗号分隔的字符串，如"Alice,Bob,Charlie"。 2. 在Shell脚本中执行该查询，将结果保存到变量中。 3. 使用awk或tr拆分member_list，例如： echo "$member_list" | tr ',' '\n' > output.txt 4. 将处理后的结果输出到文件。但如何将SQL查询的结果赋值给Shell变量呢？引用[3]中的示例展示了如何将查询结果赋值给变量，例如： mdb_count=`sqlplus -S user/password@db <<EOF SET PAGESIZE 0 FEEDBACK OFF VERIFY OFF HEADING OFF ECHO OFF SELECT COUNT(*) FROM employees; EXIT; EOF` 这会将COUNT(*)的结果赋值给mdb_count变量。同样的方法可以用于获取某个字段的值。但如果是多列的话，可能需要将多列拼接成一个字符串，或者分别获取每个列的值。如果查询结果有多个列，比如department_name和member_list，可能需要将它们分别存储到不同的变量中。例如： sql_result=$(sqlplus -S user/pwd@db << EOF SET PAGESIZE 0 FEEDBACK OFF VERIFY OFF HEADING OFF ECHO OFF SELECT department_name || '|' || member_list FROM departments WHERE department_id=123; EXIT; EOF ) 然后使用IFS='|'分割成两个变量，department和members。接着处理members字段，拆分成多行。例如： IFS='|' read -r department members <<< "$sql_result" echo "$members" | tr ',' '\n' > members.txt 这样，members.txt中的内容就是每个成员一行。另外，如果查询结果本身就是单行多列，可能需要将多列转换为多行，比如每列占一行。例如，查询返回三个字段A、B、C，希望输出为三行。这种情况下，可以使用循环处理每个字段，或者用printf输出。但用户的问题更可能是指某个字段包含多个值需要拆分，因为提到“单行结果显示为多行”。因此，重点应放在如何处理某个字段的拆分上。此外，需要注意Oracle中的字符串连接符是||，并且可能需要处理NULL值的情况。例如，如果member_list可能为空，需要做NVL处理。综上，解决方案的大致步骤是： 1. 编写SQL查询，获取需要的字段，可能需要将多个字段合并为一个字符串以便处理。 2. 使用sqlplus执行查询，并将结果保存到Shell变量中。 3. 处理Shell变量中的字符串，拆分成多行。 4. 将处理后的结果输出到文件。现在，我需要将这个过程具体化，写出一个示例脚本，并处理可能遇到的问题，比如特殊字符、空格处理等。同时，需要引用用户提供的引用内容中的方法，例如引用[3]中的变量赋值方式。可能的示例脚本： #!/bin/bash # 连接Oracle数据库并执行查询 result=$(sqlplus -S user/\"\$password\"@db << EOF SET PAGESIZE 0 FEEDBACK OFF VERIFY OFF HEADING OFF ECHO OFF SELECT member_list FROM departments WHERE department_id=123; EXIT; EOF ) # 处理结果，假设member_list是用逗号分隔的 echo "$result" | tr ',' '\n' > output.txt 这个脚本将查询到的member_list字段的值按逗号拆分成多行，并输出到output.txt文件中。如果结果中包含换行符或其他特殊字符，可能需要额外的处理，比如使用IFS或awk来处理。如果查询结果有多个行，可能需要逐行处理。但根据用户的需求，单行结果转为多行，所以假设查询结果只有一行。如果存在多个列需要处理，例如同时需要department_name和member_list，可以调整SQL查询将两个字段拼接，然后在Shell中分割。例如： result=$(sqlplus -S ... << EOF SELECT department_name || '|' || member_list FROM departments WHERE ... EOF ) 然后： IFS='|' read -r dept members <<< "$result" echo "$members" | tr ',' '\n' > dept_members.txt 这样就将部门名称和成员列表分开处理，成员列表拆分为多行。总结，用户的问题可以通过结合sqlplus查询结果到变量，再利用Shell的文本处理工具拆分字符串成多行，最后输出到文件来实现。</think>### 分步解决方案在 Linux 环境下，通过 Shell 脚本调用 Oracle 数据库查询，并将单行结果转换为多行输出到文件，可按以下步骤实现： --- #### **步骤 1：编写 SQL 查询** 根据需求编写 SQL 语句，确保输出为单行。若需要将多列合并为单列（如逗号分隔的字符串），可使用 Oracle 的 `LISTAGG` 函数或直接拼接字段。 **示例 SQL**： ```sql SELECT employee_name || ',' || department_id AS combined_data FROM employees WHERE employee_id = 1001; ``` --- #### **步骤 2：在 Shell 脚本中执行查询并赋值变量** 使用 `sqlplus` 静默模式执行 SQL，并通过 `SELECT INTO` 语法将结果保存到 Shell 变量。需关闭 SQL*Plus 的冗余输出（如标题、页脚）[^3]。 **示例脚本**： ```bash #!/bin/bash # 执行 SQL 查询并保存结果到变量 result=$(sqlplus -S user/\"\$password\"@dbname << EOF SET PAGESIZE 0 FEEDBACK OFF VERIFY OFF HEADING OFF ECHO OFF SELECT combined_data FROM (SELECT employee_name || ',' || department_id AS combined_data FROM employees WHERE employee_id = 1001); EXIT; EOF ) # 检查结果是否为空 if [ -z "$result" ]; then echo "查询无结果" exit 1 fi ``` --- #### **步骤 3：处理单行结果并拆分为多行** 使用 Linux 文本处理工具（如 `tr`、`awk`）将单行数据按分隔符拆分为多行。 **示例**（按逗号拆分）： ```bash # 拆分逗号分隔的字符串为多行 echo "$result" | tr ',' '\n' > output.txt ``` --- #### **步骤 4：输出到文件** 将处理后的结果写入文件，可通过重定向或 `tee` 命令实现。 **完整示例脚本**： ```bash #!/bin/bash # 连接 Oracle 并查询数据 result=$(sqlplus -S user/\"\$password\"@dbname << EOF SET PAGESIZE 0 FEEDBACK OFF VERIFY OFF HEADING OFF ECHO OFF SELECT employee_name || ',' || department_id FROM employees WHERE employee_id = 1001; EXIT; EOF ) # 处理结果并输出 if [ -n "$result" ]; then echo "原始结果: $result" echo "$result" | tr ',' '\n' > output.txt echo "结果已写入 output.txt" else echo "查询失败或结果为空" fi ``` --- #### **注意事项** 1. **权限与连接字符串**：确保 Oracle 客户端环境配置正确，且用户名、密码、连接字符串无误。 2. **特殊字符处理**：若结果包含空格或特殊字符，需使用引号包裹变量（如 `"$result"`）。 3. **性能优化**：若需频繁查询，可通过 Oracle 序列生成唯一值[^2]，或使用存储过程封装复杂逻辑[^1]。 ---