随机sample文件Python程序

最新推荐文章于 2023-07-22 09:54:11 发布

weixin_30662011

最新推荐文章于 2023-07-22 09:54:11 发布

阅读量271

点赞数

CC 4.0 BY-SA版权

文章标签： python

原文链接：http://www.cnblogs.com/tec-vegetables/p/5306373.html

本文介绍了一种从大型文件中随机抽取指定数量行的有效方法。通过使用Python的linecache模块来实现快速读取，适用于数据预处理或采样分析场景。

经常遇到由于样本巨大，需要sample一部分文件进行案例分析的情况，下面的程序主要为了随机抽取一个大文件中的N行。

 1 #!/usr/bin/python  
 2 # -*- coding: <encoding name> -*-
 3 import sys
 4 reload(sys)
 5 sys.setdefaultencoding('utf-8')
 6 
 7 import os
 8 import json
 9 import codecs
10 import random
11 import linecache
12 
13 ## from 1 to 1000w or ...
14 Random_number_list=[x for x in range(815003)]
15 ## select 100 or ...
16 Random_data_line = random.sample(Random_number_list, 100)
17 ## open a file
18 write_fname=open('aa.txt','a+')
19 for tmp_line in Random_data_line:
20     tmpdata=linecache.getline('readfile',tmp_line)
21     write_fname.write(tmpdata)
22 write_fname.close()