拆分大文件的脚本

最新推荐文章于 2023-04-10 16:49:12 发布

原创最新推荐文章于 2023-04-10 16:49:12 发布 · 889 阅读

0 ·

CC 4.0 BY-SA版权

无主之地专栏收录该内容

15 篇文章

订阅专栏

本文介绍了一种在缺少split程序的环境下，如何通过自制的bash脚本来按行数或字节数拆分大文件的方法。这两个脚本适用于在生产环境中进行文件管理。

有时候需要把一个大文件拆分成几个小文件，由于生产系统上没有split程序，因此自己写了两个脚本来实现该功能。

第一个脚本根据行数来拆分：

#! /bin/bash
#filename my-line-split.sh
#usage: my-line-split.sh 行数 bigfile
#拆分的文件以bigfile.split.1 bigfile.split.2...命名
split_line=$1
file=$2
total_line=$(wc -l <$file)
prefix=$file.split.
i=1
begin_line=1
while [ $begin_line -le $total_line ]
do
    end_line=$(echo "$begin_line+$split_line-1" |bc)
    sed "$begin_line,$end_line!d" $file >$prefix$i
    i=$(echo "$i+1" |bc)
    begin_line=$(echo "$end_line+1"|bc)
done

第二个脚本根据字节数来拆分

#! /bin/bash
#filename my-byte-split.sh
#usage: my-byte-split.sh 字节数 bigfile
#拆分的文件以bigfile.split.1 bigfile.split.2...命名
split_line=$1
file=$2
total_line=$(wc -l <$file)
prefix=$file.split.
i=1
begin_line=1
while [ $begin_line -le $total_line ]
do
    end_line=$(echo "$begin_line+$split_line-1" |bc)
    sed "$begin_line,$end_line!d" $file >$prefix$i
    i=$(echo "$i+1" |bc)
    begin_line=$(echo "$end_line+1"|bc)
done