Leetcode: Transpose File (shell, awk)

本文详细解析了awk脚本在处理文件时的内存优化策略,包括内存超限问题的原因分析、两种不同算法的实现方式及其优劣对比。通过实践案例,展示了如何在awk脚本中有效地读取和处理大量数据,避免内存溢出,以及如何利用二维数组进行文件转置操作。同时,文章还强调了shell命令中的一些细节和最佳实践,如变量使用、字符串处理和脚本执行流程的重要性。

考察awk。先贴代码(我把我内存超限的算法注释掉了):

# Read from the file file.txt and print its transposed content to stdout.

#!/bin/bash
#i=1;
#value=$(cat file.txt);
#j=$(echo "$value" | awk 'NR==1{print NF}');
#while [ $i -le $j ]
#do
#    echo "$value" | awk -v x=$i 'ORS=" "{print $x}';
#    let "i += 1";
#    printf "\n";
#done

awk 'BEGIN{
    i=1;
    j=1;
    while(getline < "file.txt") {
        split($0, ft, " ");
        while (j<=NF) {
            array[j, i] = ft[j];
            j = j + 1;
        }
        i = i + 1;
        j = 1;
    }

    for (row=1;row<=NF;row++) {
        for (column=1;column<i;column++) {
            printf array[row, column];
            if (column<i-1) printf " ";
        }
        printf "\n";
    }
}        
'

虽然第一种想法内存超了,但对我也很有意义,所以我想两种算法都讲一点思路。


方法一(内存超限):同时使用bash和awk

一、我想多次读file.txt,每次都用awk读一列,再修改ORS为空格(默认为换行),使这一列打印在一行。这可能就注定我会内存超限了。
二、有一个很有意思的问题,就是awk不能直接使用shell中的变量,所以我们需要这部分:

awk -v x=$i

如果直接

{print $i}

你会发现print语句打印出所有列,而不是第i列,说明awk得不到i的值!

三、还有个有意思的地方,即

echo "$value"

我之所以不直接在管道前用cat是想减少内存消耗来着,不过好像没用。这里如果没有双引号,那么value中的所有换行符都会消失,变为一行,即value的结构被破坏掉了。加上”“就是保护value的结构。在bash里,常常记得在变量取值时加上”“是个好习惯!
四、余下的地方,例如bash对空格很敏感,只有命令之后可以有空格;例如while语句的条件,中括号和第一个及最后一个变量间一定要有空格;awk的所有语句都要括在’ ‘之间…


方法二:仅用awk!

一、既然内存超限,说明只能读取一次文件,即只能使用一次awk。显然可以想到,用二维数组存储这个文件,然后转置输出就行了。而awk里有二维数组,语句非常简单。
二、那么如何将文件读进来变成二维数组呢?我从这篇文章学到了while按行读取文件,并按空格分割行,得到元素的方法:

while(getline < "file.txt") {
        split($0, ft, " ");
        while (j<=NF) {
            array[j, i] = ft[j];
            j = j + 1;
        }
        i = i + 1;
        j = 1;
    }

三、有趣的注意点:在awk里用print语句打印二维数组时,每一个元素都会被作为一个记录,所以每输出一个元素,会输出一个ORS,即换行符!那我们只要使用printf就可以了!相似的情况还在bash语句里,在bash语句里,printf相比于echo更能满足我们习惯的输出。
四、这里一定要用BEGIN,虽然原因我还不太肯定,但是不用BEGIN的话,执行脚本之后,还需要多ENTER一次,才输出结果。


多源动态最优潮流的分布鲁棒优化方法(IEEE118节点)(Matlab代码实现)内容概要:本文介绍了基于Matlab代码实现的多源动态最优潮流的分布鲁棒优化方法,适用于IEEE118节点电力系统。该方法结合两阶段鲁棒模型与确定性模型,旨在应对电力系统中多源不确定性(如可再生能源出力波动、负荷变化等),提升系统运行的安全性与经济性。文档还列举了大量相关的电力系统优化研究案例,涵盖微电网调度、电动汽车集群并网、需求响应、配电网重构等多个方向,并提供了YALMIP等工具包的网盘下载链接,支持科研复现与进一步开发。整体内容聚焦于电力系统建模、优化算法应用及鲁棒性分析。; 适合人群:具备电力系统基础知识和Matlab编程能力的研究生、科研人员及从事能源系统优化的工程技术人员;熟悉优化建模(如鲁棒优化、分布鲁棒优化)者更佳。; 使用场景及目标:①开展电力系统动态最优潮流研究,特别是含高比例可再生能源的场景;②学习和复现分布鲁棒优化在IEEE118等标准测试系统上的应用;③进行科研项目开发、论文复现或算法比较实验;④获取相关Matlab代码资源与仿真工具支持。; 阅读建议:建议按文档结构逐步浏览,重点关注模型构建思路与代码实现逻辑,结合提供的网盘资源下载必要工具包(如YALMIP),并在Matlab环境中调试运行示例代码,以加深对分布鲁棒优化方法的理解与应用能力。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值