awk实现行列互相转换

最新推荐文章于 2023-12-17 18:41:12 发布

原创最新推荐文章于 2023-12-17 18:41:12 发布 · 2.4k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#awk #linux

Shell 专栏收录该内容

1 篇文章

订阅专栏

目的：

使用awk对文本进行行列转换，行变成列。

方法

示例文件：test.txt

1 2 3
4 5 6
7 8 9

转换代码：

awk '{for(i=1;i<=NF;i++) a[i,NR]=$i}END{for(i=1;i<=NF;i++) {for(j=1;j<=NR;j++) printf a[i,j] " ";print ""}}' test.txt

输出：

1 4 7 
2 5 8 
3 6 9

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

WLFIGHTER

关注关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

awk行列转换（字符串拼接）

临江仙我亦是行人

04-24

1812

行列转换1 cat file.txt name age alice 21 rayn 30 #转换得到 #name alice rayn #age 21 30 # 1.将每一行每一列全部保存起来，最后在END语句块当中输出 cat file.awk { # 循环取得所有列 for(i=1;i<=NF;i++){ # 如果在数组中就把每列数据追加到已有的数据中 if(i in arr){ # 表示把" " $i追加到数组元素

awk实战案例

qq_63284884的博客

06-01

853

借此，可以取得日志中的时间字符串部分，再将它们的年、月、日、时、分、秒都取出来，然后放入mktime()构建成对应的epoch值。因为epoch值是数值，所以可以比较大小，从而决定时间的大小。（就像grep匹配成功的部分会加颜色显示，而使用FPAT划分字段，则是将匹配成功的部分保存在字段。格式的字符串转换成epoch值，然后和which_time比较大小即可筛选出精确到秒的日志。格式的字符串转换成epoch值，然后和which_time比较大小即可筛选出精确到秒的日志。

1 条评论您还未登录，请先登录后发表或查看评论

1 条评论

不吃西红柿丶 2021.05.12
大佬写得很棒，忍不住夸一下呢~

awk 二维数组-实现行列转换

HIZHX的专栏

12-07

2598

行列转换

awk实现行列反转

wz122330的博客

12-17

1571

awk实现行列反转实现将下面文本的行列转换 [root@manager ~]# cat data HOST_NAME status r15s r1m r15m ut pg io ls it tmp swp mem node2 ok 0.0 0.0 0.0 0% ...

python sed awk_关于交换两列：交换两列-awk，sed，python，perl

weixin_39642998的博客

12-08

1583

我有一个大文件(280列宽，700万行！)中的数据，我需要交换前两列。我想我可以使用某种awk for循环来执行此操作，以打印$ 2，$ 1，然后是文件末尾的范围-但我不知道如何做范围部分，而且我无法打印$ 2 ，$ 1，$ 3 ... $ 280！我在这里看到的大多数列交换答案都特定于具有可管理列数的小型文件，因此我需要一些不依赖于指定每个列号的东西。该文件以制表符分隔：Affy-id ch...

行列转换

cuipangzhong3835的博客

11-16

127

总牛人已经总结过了：http://www.itpub.net/forum.php?mod=viewthread&tid=1017026&extra=&highlight=%D0%D0%C1%D0&...

面试题总汇

wx25051的博客

11-03

4435

一. FTP/TFTP/NFS 1.FTP的传输模式：ASCII传输模式和二进制传输模式。 ASCII传输模式：假定用户正在拷贝的文件包含的简单ASCII码文本，如果在远程机器上运行的不是UNIX，当文件传输时ftp通常会自动地调整文件的内容以便于把文件解释成另外那台计算机存储文本文件的格式。但是常常有这样的情况，用户正在传输的文件包含的不是文本文件，它们可能是程序，数据库，字处理文件或者压缩文件（尽管字处理文件包含的大部分是文本，其中也包含有指示页尺寸，字库等信息的非打印符）。在拷贝任何非文本文

大数据技术之高频面试题

热门推荐

XIAOMO__的博客

11-12

2万+

第一章项目涉及技术 1.1Linux&Shell 1.1.1 Linux常用高级命令序号命令命令解释 1 top 查看内存 2 df -h 查看磁盘存储情况 3 iotop 查看磁盘IO读写(yum install iotop安装） .

一、Hive简明笔记

Norni的博客

10-06

796

目录1、Hive基本概念1.1 什么是Hive1.2 Hive的优缺点1.3 Hive架构原理2、Hive安装2.1 Hive安装部署2.2 Hive元数据配置到MySQL2.2.1 拷贝JDBC驱动2.2.2 配置 Metastore 到 MySQL2.3 使用元数据服务的方式访问Hive2.4 使用JDBC方式访问Hive2.5 hive 服务启动脚本2.6 Hive常见属性配置2.6.1 ...

数据分析大数据面试题大杂烩02

GavinKai

03-09

2749

Map端会处理输入数据并产生中间结果,这个中间结果会写到本地磁盘,每个Map的输出会先写到内存缓冲区中,当写入的数据达到设定的阈值时,系统将会启动一个线程将缓冲区的数据写到磁盘,这个过程叫做spill(spill写入之前,会先进行二次排序,首先根据数据所属的partition进行排序,然后每个partition中的数据再按key来排序 . partition的目是将记录划分到不同的Reducer上去,以期望能够达到负载均衡,以后的Reducer就会根据partition来读取自己对应的数据 . 接着运行co

基础知识整理

fsafsg的博客

08-03

1663

@[T 机器学习计算语义相似度：DSSM（Deep Structured Semantic Models，有监督），可解决query-doc结果对的召回问题（“快递软件”-“菜鸟裹裹”，“机票”-“携程”），已经语义顺序或细微不同的词引起的语义变化（小宝宝生病怎么办-狗宝宝生病怎么办，深度学习-学习深度）把搜索引擎里的Query和Title转为低维向量。输入层-----表示层（词袋模型，...

使用awk用一个列替换另一个文件中的列？

简云的博客

10-14

2423

转自使用awk用一个列替换另一个文件中的列？ - 程序园 (voidcn.com) 我有两个文件： f1: 111 aaa 444 222 bbb 555 333 ccc 666 f2: 111 333 000 444 222 444 111 555 333 555 555 666 如何使用awk替换“f1”中的第二列,使用“f2”中的第三列？尝试： awk 'FNR==NR{a[NR]=$3;next}{$2=a[FNR]}1' f2 f1 输出： 111 00

Linux 文本行列转换

weixin_33712987的博客

09-04

1962

使用awk进行行列转换假设有一个文件test，包含的数据遵循以下格式：同一行数据，单词之间为1个空格" " 每一行都有同样多的数据，个数相同处理命令： awk '{for(i=1;i<=NF;i=i+1){a[NR,i]=$i}}END{for(j=1;j<=NF;j++){str=a[1,j];for(i=2;i<=N...

如何用awk 替换两个文件的列

youyouJaney的博客

05-10

821

I have two files: f1: 111 aaa 444 222 bbb 555 333 ccc 666 f2: 111 333 000 444 222 444 111 555 333 555 555 666 如何用 file2 的第三列替换 file1 的第二列: awk 'FNR==NR{a[NR]=$3;next}{$2=a[FNR]}1' f2 f1 Output: 111 000 444 222 111 555 333 555 666 指定分隔符： awk -.

行列转换文本处理--awk xargs 回顾

weixin_33863087的博客

01-31

353

awk 数组回顾： 9.1 数组举例：统计当前主机上每一个TCP连接状态以及每种连接状态的数目【非常实用】 # netstat -tan | awk '/^tcp/{STATE[$NF]++}END{for (S in STATE) {print S,STATE[S]}}' 注：单引号内的都是PARTTEN，此句没有ACTION【定义数组、变量尽量大写，小写也不错...

【linux/shell实战案例】awk实现行转列数据变换

qq_35902025的博客

12-17

1111

awk实现行转列数据变换,awk命令是一种强大的编程语言，结合了模式匹配、文本处理和数据分析的功能。当数据需要进行行转列的时候，我们可以使用awk实现，具体方法如下：

Linux命令之grep/sed/awk等行转列

weixin_34097242的博客

08-07

755

行转列样例文件如下 cat file.txt a b c d e f g h i cat file.txt |xargs -n1 xargs -n 1 < file.txt tr " " "\n" < file.txt 4、sed 's/ /\n/g' file.txt 此命令在Li...

shell基础---行转列(awk)，列转行(tr)

会哭的雨@的博客

10-01

3655

shell行转列(awk) awk -F "+" '{for(i=1;i<=NF;i++) a[i,NR]=$i}END{for(i=1;i<=NF;i++) {for(j=1;j<=NR;j++) printf a[i,j] " ";print ""}}' file.txt 列转行(tr)： cat file.txt |tr "\n" ","|sed -e 's/,$/\n/'

awk将文本转置（行转列）-以及if判断

周二也被占用

12-11

9911

创建文件abc 1,2,3,4 a,b,c,d 执行： awk -F, '{for(i=1;i<=NF;i=i+1){a[NR,i]=$i}}END{for(j=1;j<=NF;j++){str=a[1,j];for(i=2;i<=NR;i++){str=str " " a[i,j]}print str}}' abc 结果： 1 a 2 b 3 c 4 d 等效命令1： a...

awk 行列转换

最新发布

06-28

在使用 `awk` 进行列转行或行转列的操作时，通常会涉及对字段的遍历、数组的存储以及最终的格式化输出。以下是几种常见的方法： ### 列转行如果文本文件中有多列数据，并希望将这些列转换为多行形式，可以使用以下命令： ```bash awk '{for(i=1;i<=NF;i++) a[i,NR]=$i} END{for(i=1;i<=NF;i++) {for(j=1;j<=NR;j++) printf "%s ",a[i,j]; print ""}}' file.txt ``` 该命令通过二维数组 `a` 来存储每一列和每一行的数据，然后在 `END` 块中按列优先的方式输出数据。 ### 行转列对于需要将多行数据合并成一行的情况，可以使用以下方式实现： ```bash awk '{for(i=1;i<=NF;i++) arr[i]=(arr[i]?arr[i] FS $i):$i} END{for(i in arr) print arr[i]}' file.txt ``` 这段代码通过数组 `arr` 存储每一列的所有行数据，并在 `END` 块中输出结果。其中 `FS` 是字段分隔符，默认为空格。 ### 使用 `xargs` 配合 `awk` 实现行列转换还可以结合 `xargs` 工具来处理简单的行列转换问题，例如将多行合并为单行： ```bash cat file.txt | xargs ``` 或者指定每次处理的参数个数： ```bash cat file.txt | xargs -n 2 ``` 这种方式适用于简单场景下的行列转换需求[^5]。 ### 处理重复值并进行拼接当需要根据某列（如第一列）的值进行合并操作时，可以使用如下脚本： ```bash awk '{ if($1 in arr){ arr[$1]=arr[$1]" " $2 }else{ arr[$1]=$2 } } END{ for(i in arr){ printf "%s %s\n",i,arr[i] } }' file.txt ``` 此脚本利用关联数组 `arr` 来存储相同键值对应的不同记录，并在最后输出时将其拼接在一起[^2]。 ### 相关问题 1. 如何使用 `awk` 将一个文件中的多列数据转换为多行？ 2. 在 `awk` 中如何处理具有相同键值的数据行并将它们合并？ 3. `xargs` 工具在哪些情况下可以辅助完成行列转换任务？ 4. 使用 `awk` 进行列转行操作时，如何保证原始数据顺序不变？ 5. 当处理大型数据集时，使用 `awk` 进行列行转换需要注意什么性能优化措施？