Leetcode: Transpose File (shell, awk)

本文详细解析了awk脚本在处理文件时的内存优化策略,包括内存超限问题的原因分析、两种不同算法的实现方式及其优劣对比。通过实践案例,展示了如何在awk脚本中有效地读取和处理大量数据,避免内存溢出,以及如何利用二维数组进行文件转置操作。同时,文章还强调了shell命令中的一些细节和最佳实践,如变量使用、字符串处理和脚本执行流程的重要性。

考察awk。先贴代码(我把我内存超限的算法注释掉了):

# Read from the file file.txt and print its transposed content to stdout.

#!/bin/bash
#i=1;
#value=$(cat file.txt);
#j=$(echo "$value" | awk 'NR==1{print NF}');
#while [ $i -le $j ]
#do
#    echo "$value" | awk -v x=$i 'ORS=" "{print $x}';
#    let "i += 1";
#    printf "\n";
#done

awk 'BEGIN{
    i=1;
    j=1;
    while(getline < "file.txt") {
        split($0, ft, " ");
        while (j<=NF) {
            array[j, i] = ft[j];
            j = j + 1;
        }
        i = i + 1;
        j = 1;
    }

    for (row=1;row<=NF;row++) {
        for (column=1;column<i;column++) {
            printf array[row, column];
            if (column<i-1) printf " ";
        }
        printf "\n";
    }
}        
'

虽然第一种想法内存超了,但对我也很有意义,所以我想两种算法都讲一点思路。


方法一(内存超限):同时使用bash和awk

一、我想多次读file.txt,每次都用awk读一列,再修改ORS为空格(默认为换行),使这一列打印在一行。这可能就注定我会内存超限了。
二、有一个很有意思的问题,就是awk不能直接使用shell中的变量,所以我们需要这部分:

awk -v x=$i

如果直接

{print $i}

你会发现print语句打印出所有列,而不是第i列,说明awk得不到i的值!

三、还有个有意思的地方,即

echo "$value"

我之所以不直接在管道前用cat是想减少内存消耗来着,不过好像没用。这里如果没有双引号,那么value中的所有换行符都会消失,变为一行,即value的结构被破坏掉了。加上”“就是保护value的结构。在bash里,常常记得在变量取值时加上”“是个好习惯!
四、余下的地方,例如bash对空格很敏感,只有命令之后可以有空格;例如while语句的条件,中括号和第一个及最后一个变量间一定要有空格;awk的所有语句都要括在’ ‘之间…


方法二:仅用awk!

一、既然内存超限,说明只能读取一次文件,即只能使用一次awk。显然可以想到,用二维数组存储这个文件,然后转置输出就行了。而awk里有二维数组,语句非常简单。
二、那么如何将文件读进来变成二维数组呢?我从这篇文章学到了while按行读取文件,并按空格分割行,得到元素的方法:

while(getline < "file.txt") {
        split($0, ft, " ");
        while (j<=NF) {
            array[j, i] = ft[j];
            j = j + 1;
        }
        i = i + 1;
        j = 1;
    }

三、有趣的注意点:在awk里用print语句打印二维数组时,每一个元素都会被作为一个记录,所以每输出一个元素,会输出一个ORS,即换行符!那我们只要使用printf就可以了!相似的情况还在bash语句里,在bash语句里,printf相比于echo更能满足我们习惯的输出。
四、这里一定要用BEGIN,虽然原因我还不太肯定,但是不用BEGIN的话,执行脚本之后,还需要多ENTER一次,才输出结果。


先看效果: https://renmaiwang.cn/s/jkhfz Hue系列产品将具备高度的个性化定制能力,并且借助内置红、蓝、绿三原色LED的灯泡,能够混合生成1600万种不同色彩的灯光。 整个操作流程完全由安装于iPhone上的应用程序进行管理。 这一创新举措为智能照明控制领域带来了新的启示,国内相关领域的从业者也积极投身于相关研究。 鉴于Hue产品采用WiFi无线连接方式,而国内WiFi网络尚未全面覆盖,本研究选择应用更为普及的蓝牙技术,通过手机蓝牙与单片机进行数据交互,进而产生可调节占空比的PWM信号,以此来控制LED驱动电路,实现LED的调光功能以及DIY调色方案。 本文重点阐述了一种基于手机蓝牙通信的LED灯设计方案,该方案受到飞利浦Hue智能灯泡的启发,但考虑到国内WiFi网络的覆盖限制,故而选用更为通用的蓝牙技术。 以下为相关技术细节的详尽介绍:1. **智能照明控制系统**:智能照明控制系统允许用户借助手机应用程序实现远程控制照明设备,提供个性化的调光及色彩调整功能。 飞利浦Hue作为行业领先者,通过红、蓝、绿三原色LED的混合,能够呈现1600万种颜色,实现了全面的定制化体验。 2. **蓝牙通信技术**:蓝牙技术是一种低成本、短距离的无线传输方案,工作于2.4GHz ISM频段,具备即插即用和强抗干扰能力。 蓝牙协议栈由硬件层和软件层构成,提供通用访问Profile、服务发现应用Profile以及串口Profiles等丰富功能,确保不同设备间的良好互操作性。 3. **脉冲宽度调制调光**:脉冲宽度调制(PWM)是一种高效能的调光方式,通过调节脉冲宽度来控制LED的亮度。 当PWM频率超过200Hz时,人眼无法察觉明显的闪烁现象。 占空比指的...
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值