linux 随机抽取文件中N行

QueenieK

于 2021-01-21 16:07:15 发布

阅读量2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： shell 文章标签： shell

原文链接：https://blog.youkuaiyun.com/fisherming/article/details/97619431?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522161121112216780269878943%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=161121112216780269878943&biz_id=0&utm_medi

shell 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了使用shell命令、awk和Python实现随机抽取文件列数及从大数据中生成指定数量随机行的方法。通过实例展示了如何在不同场景下操作，如从t.txt文件中选取5列，以及从1000万数字中抽样10万行写入文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.shell命令

直接用shuf -n5 t.txt > L则随机在t.txt 中抽取5列到L中

2.awk

awk 'BEGIN{srand()} {print rand()"\t"$0}'  input_file | sort -nk 1 | head -n line_num | awk -F "\t" '{print $2}'

3.python

import random
import linecache 
#一个1到1000w的list列表
Random_number_list=[x for x in range(10000000)]
#从1到10W的列表中随机获取10W个数字，之后当行号 
Randon_data_line= random.sample(Random_number_list,100000)
#打开一个要写入你随机出来10W行的数据，a+相当于shell的“>>”追加写 
write_fname=open('aa.txt','a+')
#循环10w的那个列表  
for tmp_line in Randon_data_line:
#读取随机10W行数据 
    tmpdata=linecache.getline('read_data.txt',tmp_line)
#并写入到你要写入的文件aa.txt 
    write_fname.write(tmpdata)
#关闭aa.txt 
write_fname.close()