python在txt文件中随机抽取样本

最新推荐文章于 2024-06-16 07:09:52 发布

原创最新推荐文章于 2024-06-16 07:09:52 发布 · 5.1k 阅读

11 ·

CC 4.0 BY-SA版权

python编程专栏收录该内容

143 篇文章

订阅专栏

本文介绍了一种使用Python从大型文本文件中随机抽取特定数量行的方法。通过读取文件内容，将所有行存储到列表中，然后利用random模块的sample函数随机选择指定数量的行，并将这些行写入新的文件中。

import random
if __name__ == '__main__':

    name = './data/trec/train.txt'
    with open(name, 'r', encoding='utf-8') as f:
        lines = f.readlines()#获取所有行
        sum = 0
        list = []
        for line in lines:#第i行
            #找到第一个空格
            list.append(line)
            # for j in range(len(line)):
            #     if line[j].isspace() == True:
            #         a = line[:j]
            #         # if a not in list:
            #         list.append(a)
            #         sum += 1


    with open('./data/trec/dev.txt', 'a', encoding='utf-8') as g:
        a = random.sample(list, 500)#随机抽取500行
        for i in a:
            g.write(i)
	f.close()
	g.clost()
    print(sum)