将文件按照行数以及顺序拆分成多个文件

6子

于 2013-09-08 16:12:37 发布

阅读量1.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： shell awk 文章标签：文件拆分 awk shell

本文链接：https://blog.youkuaiyun.com/reyleon/article/details/11384515

shell 同时被 2 个专栏收录

20 篇文章

订阅专栏

awk

12 篇文章

订阅专栏

本文介绍了一种利用awk脚本将大型文件高效拆分为多个子文件的方法，通过设置参数-vf和-vl来实现按行数均匀分配文件的功能。详细解释了脚本的工作原理及实例应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

awk -vf=3 -vl="`wc -l file`" 'BEGIN{p=int(l/f);q=(l%f);for(n=1;n<=f;n++)a[n]=n*p+((n<=q)?++x:x)}{if(NR>a[i])i++;print >"file"i}' file

这里的-vf=3 表示将file拆分成3个文件，另外还有一种解法，如下所示：

#!/bin/bash

if [ $# -ne 2 ];then
        echo "U: sh $0 [file] [fnumber]"
        echo "E: sh $0 myfile 3"
        exit 1
fi

srcfile=$1 #原始文件
fnumber=$2 #需要拆分的文件个数

eval $(cat $srcfile | awk -vn=$fnumber 'END{print "total="NR,"fline="int(NR/n),"extra="NR%n,"cline="int(NR/n)+1}')
# total:原始文件总行数
# fline:拆分文件平均行数
# extra:需要扩展行数的文件个数
# cline:当前拆分文件行数

i=1
iline=1
while true;do
        filename="file$i"
        # 按行的顺序分别写入文件中
        if [ $extra = 0 ];then
                echo "$filename lines: $fline"
                tail -n +$iline $srcfile | head -n $fline > $filename
                iline=$((iline+fline))
        else
                echo "$filename lines: $cline"
                tail -n +$iline $srcfile | head -n $cline > $filename
                iline=$((iline+cline))
                extra=$((extra-1))
        fi
        ((i++))
        [ $iline -ge $total ] && exit 0
done