如何生成可导入数据库的亿级别数据

最新推荐文章于 2024-07-18 14:14:19 发布

原创最新推荐文章于 2024-07-18 14:14:19 发布 · 3.3k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#mongodb #大数据

MongoDB 同时被 2 个专栏收录

3 篇文章

订阅专栏

mysql

2 篇文章

订阅专栏

本文介绍了一种使用Python脚本批量生成大量结构化测试数据的方法，并提供了数据切分技巧。适用于快速搭建测试环境。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 使用python脚本可以轻松生成满足条件的数据，具体如下

#coding: utf-8
import os, sys, time, datetime
from itertools import izip

N = 100000000

def gen_meid():
   return

def gen_seq():
   return

def generate_message(meid,seq):
    ts = time.time();
    time_st = datetime.datetime.fromtimestamp(ts).strftime('%Y-%m-%d %H:%M:%S')
    print '\t'.join(( meid, seq, '\N', '\N', '\N', '\N', '0', '0', '0', '0', time_st, '\N', '\N', '0', '\N', '\N', '\N', '\N', time_st ))

def main(args):
    print '\t'.join(( 'deviceID', 'battery', ... , 'accumulatedTime', 'createDate' ))  // for mongodb, mysql delete
    for meid,seq in izip(gen_meid(),gen_seq()):
        generate_message(meid,seq)
        pass
    return 0

#==============================
if __name__ == "__main__":
 import sys
 main(sys.argv)
 pass
#==============================